From 9b214279ba5fc451729d6c84da5ced03423951db Mon Sep 17 00:00:00 2001 From: Claude Date: Wed, 5 Nov 2025 10:31:20 +0000 Subject: [PATCH 1/2] Add German translation of README - Created README_de.md with German translation - Maintains same structure and links as original - Provides German-speaking users access to project documentation --- README_de.md | 371 +++++++++++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 371 insertions(+) create mode 100644 README_de.md diff --git a/README_de.md b/README_de.md new file mode 100644 index 00000000..3ef5adcc --- /dev/null +++ b/README_de.md @@ -0,0 +1,371 @@ +[![Banners](docs/images/banner1.png)](https://github.com/xinnan-tech/xiaozhi-esp32-server) + +

Xiaozhi Backend-Service xiaozhi-esp32-server

+ +

+Dieses Projekt basiert auf der Theorie und Technologie der Mensch-Maschine-symbiotischen Intelligenz zur Entwicklung intelligenter Terminal-Hardware- und Software-Systeme
und bietet Backend-Dienste für das Open-Source-Hardware-Projekt +xiaozhi-esp32
+Implementiert mit Python, Java und Vue gemäß dem Xiaozhi-Kommunikationsprotokoll
+Unterstützt MQTT+UDP-Protokoll, Websocket-Protokoll, MCP-Endpunkte und Stimmabdruckerkennung +

+ +

+中文 +· English +· Häufige Fragen +· Probleme melden +· Deployment-Dokumentation +· Release-Hinweise +

+

+ + GitHub Contributors + + + GitHub Contributors + + + Issues + + + GitHub pull requests + + + GitHub pull requests + + + stars + +

+ +

+Geleitet vom Team von Professor Siyuan Liu (South China University of Technology) +
+刘思源教授团队主导研发(华南理工大学) +
+South China University of Technology +

+ +--- + +## Zielgruppe 👥 + +Dieses Projekt erfordert ESP32-Hardware-Geräte zum Betrieb. Wenn Sie ESP32-bezogene Hardware erworben haben, erfolgreich eine Verbindung zu Brother Xias bereitgestelltem Backend-Service hergestellt haben und Ihren eigenen `xiaozhi-esp32`-Backend-Service unabhängig aufbauen möchten, dann ist dieses Projekt perfekt für Sie. + +Möchten Sie die Nutzungseffekte sehen? Klicken Sie auf die Videos unten 🎥 + + + + + + + + + + + + + + + + + + + + + + + +
+ + + 响应速度感受 + + + + + + 速度优化秘诀 + + + + + + 复杂医疗场景 + + + + + + MQTT指令下发 + + + + + + 声纹识别 + + +
+ + + 控制家电开关 + + + + + + MCP接入点 + + + + + + 多指令任务 + + + + + + 播放音乐 + + + + + + 天气插件 + + +
+ + + 实时打断 + + + + + + 拍照识物品 + + + + + + 自定义音色 + + + + + + 使用粤语交流 + + + + + + 播报新闻 + + +
+ +--- + +## Warnungen ⚠️ + +1. Dieses Projekt ist Open-Source-Software. Diese Software hat keine kommerzielle Partnerschaft mit Drittanbieter-API-Dienstleistern (einschließlich, aber nicht beschränkt auf Spracherkennung, große Modelle, Sprachsynthese und andere Plattformen), mit denen sie sich verbindet, und bietet keine Garantie für deren Servicequalität oder finanzielle Sicherheit. Es wird empfohlen, dass Benutzer Dienstleister mit entsprechenden Geschäftslizenzen bevorzugen und deren Servicevereinbarungen und Datenschutzrichtlinien sorgfältig lesen. Diese Software hostet keine Kontoschlüssel, nimmt nicht an Geldströmen teil und trägt nicht das Risiko von Verlusten bei Guthaben-Aufladungen. + +2. Die Funktionalität dieses Projekts ist nicht vollständig und hat keine Netzwerksicherheitsbewertung bestanden. Bitte verwenden Sie es nicht in Produktionsumgebungen. Wenn Sie dieses Projekt zu Lernzwecken in einer öffentlichen Netzwerkumgebung bereitstellen, stellen Sie bitte sicher, dass notwendige Schutzmaßnahmen vorhanden sind. + +--- + +## Deployment-Dokumentation + +![Banners](docs/images/banner2.png) + +Dieses Projekt bietet zwei Bereitstellungsmethoden. Bitte wählen Sie basierend auf Ihren spezifischen Anforderungen: + +#### 🚀 Auswahl der Bereitstellungsmethode +| Bereitstellungsmethode | Funktionen | Anwendungsszenarien | Deployment-Dokumente | Konfigurationsanforderungen | Video-Tutorials | +|---------|------|---------|---------|---------|---------| +| **Vereinfachte Installation** | Intelligenter Dialog, IOT, MCP, visuelle Wahrnehmung | Umgebungen mit geringer Konfiguration, Daten in Konfigurationsdateien gespeichert, keine Datenbank erforderlich | [①Docker-Version](./docs/Deployment.md#%E6%96%B9%E5%BC%8F%E4%B8%80docker%E5%8F%AA%E8%BF%90%E8%A1%8Cserver) / [②Quellcode-Deployment](./docs/Deployment.md#%E6%96%B9%E5%BC%8F%E4%BA%8C%E6%9C%AC%E5%9C%B0%E6%BA%90%E7%A0%81%E5%8F%AA%E8%BF%90%E8%A1%8Cserver)| 2 Kerne 4GB bei Verwendung von `FunASR`, 2 Kerne 2GB bei allen APIs | - | +| **Vollständige Modulinstallation** | Intelligenter Dialog, IOT, MCP-Endpunkte, Stimmabdruckerkennung, visuelle Wahrnehmung, OTA, intelligente Steuerkonsole | Vollständige Funktionserfahrung, Daten in Datenbank gespeichert |[①Docker-Version](./docs/Deployment_all.md#%E6%96%B9%E5%BC%8F%E4%B8%80docker%E8%BF%90%E8%A1%8C%E5%85%A8%E6%A8%A1%E5%9D%97) / [②Quellcode-Deployment](./docs/Deployment_all.md#%E6%96%B9%E5%BC%8F%E4%BA%8C%E6%9C%AC%E5%9C%B0%E6%BA%90%E7%A0%81%E8%BF%90%E8%A1%8C%E5%85%A8%E6%A8%A1%E5%9D%97) / [③Quellcode-Deployment Auto-Update-Tutorial](./docs/dev-ops-integration.md) | 4 Kerne 8GB bei Verwendung von `FunASR`, 2 Kerne 4GB bei allen APIs| [Video-Tutorial für lokalen Quellcode-Start](https://www.bilibili.com/video/BV1wBJhz4Ewe) | + +Häufige Fragen und entsprechende Tutorials finden Sie unter [diesem Link](./docs/FAQ.md) + +> 💡 Hinweis: Unten ist eine Testplattform, die mit dem neuesten Code bereitgestellt wurde. Sie können bei Bedarf brennen und testen. Gleichzeitige Benutzer: 6, Daten werden täglich gelöscht. + +``` +Adresse der intelligenten Steuerkonsole: https://2662r3426b.vicp.fun +Adresse der intelligenten Steuerkonsole (H5): https://2662r3426b.vicp.fun/h5/index.html + +Service-Testtool: https://2662r3426b.vicp.fun/test/ +OTA-Schnittstellenadresse: https://2662r3426b.vicp.fun/xiaozhi/ota/ +Websocket-Schnittstellenadresse: wss://2662r3426b.vicp.fun/xiaozhi/v1/ +``` + +#### 🚩 Konfigurationsbeschreibung und Empfehlungen +> [!Note] +> Dieses Projekt bietet zwei Konfigurationsschemata: +> +> 1. `Einstiegslevel Kostenlose Einstellungen`: Geeignet für den persönlichen und privaten Gebrauch, alle Komponenten verwenden kostenlose Lösungen, keine zusätzliche Zahlung erforderlich. +> +> 2. `Streaming-Konfiguration`: Geeignet für Demonstrationen, Schulungen, Szenarien mit mehr als 2 gleichzeitigen Benutzern usw. Verwendet Streaming-Verarbeitungstechnologie für schnellere Reaktionsgeschwindigkeit und bessere Erfahrung. +> +> Ab Version `0.5.2` unterstützt das Projekt Streaming-Konfiguration. Im Vergleich zu früheren Versionen ist die Reaktionsgeschwindigkeit um ca. `2,5 Sekunden` verbessert, was die Benutzererfahrung erheblich verbessert. + +| Modulname | Einstiegslevel Kostenlose Einstellungen | Streaming-Konfiguration | +|:---:|:---:|:---:| +| ASR (Spracherkennung) | FunASR (Lokal) | 👍FunASR (Lokaler GPU-Modus) | +| LLM (Großes Modell) | ChatGLMLLM (Zhipu glm-4-flash) | 👍AliLLM (qwen3-235b-a22b-instruct-2507) oder 👍DoubaoLLM (doubao-1-5-pro-32k-250115) | +| VLLM (Vision Large Model) | ChatGLMVLLM (Zhipu glm-4v-flash) | 👍QwenVLVLLM (Qwen qwen2.5-vl-3b-instructh) | +| TTS (Sprachsynthese) | ✅LinkeraiTTS (Lingxi-Streaming) | 👍HuoshanDoubleStreamTTS (Volcano Dual-Stream-Sprachsynthese) oder 👍AliyunStreamTTS (Alibaba Cloud Streaming-Sprachsynthese) | +| Intent (Absichtserkennung) | function_call (Funktionsaufruf) | function_call (Funktionsaufruf) | +| Memory (Gedächtnisfunktion) | mem_local_short (Lokales Kurzzeitgedächtnis) | mem_local_short (Lokales Kurzzeitgedächtnis) | + +Wenn Sie sich um die Latenz jeder Komponente kümmern, lesen Sie bitte den [Xiaozhi-Komponenten-Leistungstestbericht](https://github.com/xinnan-tech/xiaozhi-performance-research). Sie können gemäß den Testmethoden im Bericht in Ihrer Umgebung tatsächlich testen. + +#### 🔧 Testwerkzeuge +Dieses Projekt bietet die folgenden Testwerkzeuge, um Ihnen bei der Überprüfung des Systems und der Auswahl geeigneter Modelle zu helfen: + +| Werkzeugname | Standort | Verwendungsmethode | Funktionsbeschreibung | +|:---:|:---|:---:|:---:| +| Audio-Interaktionstesttool | main》xiaozhi-server》test》test_page.html | Direkt mit Google Chrome öffnen | Testet Audio-Wiedergabe- und Empfangsfunktionen, überprüft, ob die Python-seitige Audioverarbeitung normal ist | +| Modell-Reaktionstesttool | main》xiaozhi-server》performance_tester.py | Ausführen `python performance_tester.py` | Testet die Reaktionsgeschwindigkeit von ASR (Spracherkennung), LLM (großes Modell), VLLM (Vision-Modell), TTS (Sprachsynthese) drei Kernmodulen | + +> 💡 Hinweis: Beim Testen der Modellgeschwindigkeit werden nur Modelle mit konfigurierten Schlüsseln getestet. + +--- +## Funktionsliste ✨ +### Implementiert ✅ +![请参考-全模块安装架构图](docs/images/deploy2.png) +| Funktionsmodul | Beschreibung | +|:---:|:---| +| Kernarchitektur | Basierend auf [MQTT+UDP-Gateway](https://github.com/xinnan-tech/xiaozhi-esp32-server/blob/main/docs/mqtt-gateway-integration.md), WebSocket und HTTP-Servern, bietet vollständiges Konsolenverwaltungs- und Authentifizierungssystem | +| Sprachinteraktion | Unterstützt Streaming-ASR (Spracherkennung), Streaming-TTS (Sprachsynthese), VAD (Sprachaktivitätserkennung), unterstützt mehrsprachige Erkennung und Sprachverarbeitung | +| Stimmabdruckerkennung | Unterstützt Mehrbenutzer-Stimmabdruckregistrierung, -verwaltung und -erkennung, verarbeitet parallel mit ASR, Echtzeit-Sprecheridentitätserkennung und Weitergabe an LLM für personalisierte Antworten | +| Intelligenter Dialog | Unterstützt mehrere LLM (große Sprachmodelle), implementiert intelligenten Dialog | +| Visuelle Wahrnehmung | Unterstützt mehrere VLLM (Vision Large Models), implementiert multimodale Interaktion | +| Absichtserkennung | Unterstützt LLM-Absichtserkennung, Function Call-Funktionsaufruf, bietet plugin-basierten Absichtsverarbeitungsmechanismus | +| Gedächtnissystem | Unterstützt lokales Kurzzeitgedächtnis, mem0ai-Schnittstellengedächtnis, mit Gedächtniszusammenfassungsfunktion | +| Werkzeugaufruf | Unterstützt Client-IOT-Protokoll, Client-MCP-Protokoll, Server-MCP-Protokoll, MCP-Endpunktprotokoll, benutzerdefinierte Werkzeugfunktionen | +| Befehlsübermittlung | Basierend auf MQTT-Protokoll, unterstützt die Übermittlung von MCP-Befehlen von der intelligenten Steuerkonsole an ESP32-Geräte | +| Verwaltungs-Backend | Bietet Web-Verwaltungsoberfläche, unterstützt Benutzerverwaltung, Systemkonfiguration und Geräteverwaltung; Oberfläche unterstützt vereinfachtes Chinesisch, traditionelles Chinesisch und englische Anzeige | +| Testwerkzeuge | Bietet Leistungstestwerkzeuge, Vision-Modell-Testwerkzeuge und Audio-Interaktionstestwerkzeuge | +| Deployment-Unterstützung | Unterstützt Docker-Deployment und lokales Deployment, bietet vollständige Konfigurationsdateiverwaltung | +| Plugin-System | Unterstützt funktionale Plugin-Erweiterungen, benutzerdefinierte Plugin-Entwicklung und Plugin-Hot-Loading | + +### In Entwicklung 🚧 + +Um über spezifische Entwicklungsplanfortschritte zu erfahren, [klicken Sie hier](https://github.com/users/xinnan-tech/projects/3). Häufige Fragen und entsprechende Tutorials finden Sie unter [diesem Link](./docs/FAQ.md) + +Wenn Sie ein Softwareentwickler sind, finden Sie hier einen [Offenen Brief an Entwickler](docs/contributor_open_letter.md). Willkommen beim Beitritt! + +--- + +## Produktökosystem 👬 +Xiaozhi ist ein Ökosystem. Wenn Sie dieses Produkt verwenden, können Sie sich auch andere [hervorragende Projekte](https://github.com/78/xiaozhi-esp32?tab=readme-ov-file#%E7%9B%B8%E5%85%B3%E5%BC%80%E6%BA%90%E9%A1%B9%E7%9B%AE) in diesem Ökosystem ansehen + +--- + +## Liste der von diesem Projekt unterstützten Plattformen/Komponenten 📋 +### LLM-Sprachmodelle + +| Verwendungsmethode | Unterstützte Plattformen | Kostenlose Plattformen | +|:---:|:---:|:---:| +| OpenAI-Schnittstellenaufrufe | Alibaba Bailian, Volcano Engine Doubao, DeepSeek, Zhipu ChatGLM, Gemini | Zhipu ChatGLM, Gemini | +| Ollama-Schnittstellenaufrufe | Ollama | - | +| Dify-Schnittstellenaufrufe | Dify | - | +| FastGPT-Schnittstellenaufrufe | FastGPT | - | +| Coze-Schnittstellenaufrufe | Coze | - | +| Xinference-Schnittstellenaufrufe | Xinference | - | +| HomeAssistant-Schnittstellenaufrufe | HomeAssistant | - | + +Tatsächlich kann jedes LLM, das OpenAI-Schnittstellenaufrufe unterstützt, integriert und verwendet werden. + +--- + +### VLLM-Vision-Modelle + +| Verwendungsmethode | Unterstützte Plattformen | Kostenlose Plattformen | +|:---:|:---:|:---:| +| OpenAI-Schnittstellenaufrufe | Alibaba Bailian, Zhipu ChatGLMVLLM | Zhipu ChatGLMVLLM | + +Tatsächlich kann jedes VLLM, das OpenAI-Schnittstellenaufrufe unterstützt, integriert und verwendet werden. + +--- + +### TTS-Sprachsynthese + +| Verwendungsmethode | Unterstützte Plattformen | Kostenlose Plattformen | +|:---:|:---:|:---:| +| Schnittstellenaufrufe | EdgeTTS, Volcano Engine Doubao TTS, Tencent Cloud, Alibaba Cloud TTS, AliYun Stream TTS, CosyVoiceSiliconflow, TTS302AI, CozeCnTTS, GizwitsTTS, ACGNTTS, OpenAITTS, Lingxi Streaming TTS, MinimaxTTS, Volcano Dual-Stream TTS | Lingxi Streaming TTS, EdgeTTS, CosyVoiceSiliconflow (teilweise) | +| Lokale Dienste | FishSpeech, GPT_SOVITS_V2, GPT_SOVITS_V3, Index-TTS, PaddleSpeech | Index-TTS, PaddleSpeech, FishSpeech, GPT_SOVITS_V2, GPT_SOVITS_V3 | + +--- + +### VAD-Sprachaktivitätserkennung + +| Typ | Plattformname | Verwendungsmethode | Preismodell | Hinweise | +|:---:|:---------:|:----:|:----:|:--:| +| VAD | SileroVAD | Lokale Verwendung | Kostenlos | | + +--- + +### ASR-Spracherkennung + +| Verwendungsmethode | Unterstützte Plattformen | Kostenlose Plattformen | +|:---:|:---:|:---:| +| Lokale Verwendung | FunASR, SherpaASR | FunASR, SherpaASR | +| Schnittstellenaufrufe | DoubaoASR, Doubao Streaming ASR, FunASRServer, TencentASR, AliyunASR, Aliyun Streaming ASR, Baidu ASR, OpenAI ASR | FunASRServer | + +--- + +### Voiceprint-Stimmabdruckerkennung + +| Verwendungsmethode | Unterstützte Plattformen | Kostenlose Plattformen | +|:---:|:---:|:---:| +| Lokale Verwendung | 3D-Speaker | 3D-Speaker | + +--- + +### Memory-Gedächtnisspeicher + +| Typ | Plattformname | Verwendungsmethode | Preismodell | Hinweise | +|:------:|:---------------:|:----:|:---------:|:--:| +| Memory | mem0ai | Schnittstellenaufrufe | 1000 Mal/Monat Kontingent | | +| Memory | mem_local_short | Lokale Zusammenfassung | Kostenlos | | +| Memory | nomem | Kein Gedächtnismodus | Kostenlos | | + +--- + +### Intent-Absichtserkennung + +| Typ | Plattformname | Verwendungsmethode | Preismodell | Hinweise | +|:------:|:-------------:|:----:|:-------:|:---------------------:| +| Intent | intent_llm | Schnittstellenaufrufe | Basierend auf LLM-Preisen | Erkennt Absicht durch große Modelle, starke Allgemeingültigkeit | +| Intent | function_call | Schnittstellenaufrufe | Basierend auf LLM-Preisen | Vervollständigt Absicht durch Funktionsaufruf großer Modelle, schnelle Geschwindigkeit, guter Effekt | +| Intent | nointent | Kein Absichtsmodus | Kostenlos | Führt keine Absichtserkennung durch, gibt direkt Dialogergebnis zurück | + +--- + +## Danksagungen 🙏 + +| Logo | Projekt/Unternehmen | Beschreibung | +|:---:|:---:|:---| +| | [Bailing Voice Dialogue Robot](https://github.com/wwbin2017/bailing) | Dieses Projekt wurde von [Bailing Voice Dialogue Robot](https://github.com/wwbin2017/bailing) inspiriert und auf dessen Basis implementiert | +| | [Tenclass](https://www.tenclass.com/) | Dank an [Tenclass](https://www.tenclass.com/) für die Formulierung von Standardkommunikationsprotokollen, Multi-Geräte-Kompatibilitätslösungen und High-Concurrency-Szenario-Praxisdemonstrationen für das Xiaozhi-Ökosystem; für die Bereitstellung vollständiger technischer Dokumentationsunterstützung für dieses Projekt | +| | [Xuanfeng Technology](https://github.com/Eric0308) | Dank an [Xuanfeng Technology](https://github.com/Eric0308) für den Beitrag des Funktionsaufruf-Frameworks, des MCP-Kommunikationsprotokolls und der plugin-basierten Aufrufmechanismus-Implementierungscode. Durch standardisiertes Befehlsplanungssystem und dynamische Erweiterungsfähigkeiten wird die Interaktionseffizienz und funktionale Erweiterbarkeit von Frontend-Geräten (IoT) erheblich verbessert | +| | [huangjunsen](https://github.com/huangjunsen0406) | Dank an [huangjunsen](https://github.com/huangjunsen0406) für den Beitrag des `Smart Control Console Mobile`-Moduls, das eine effiziente Steuerung und Echtzeit-Interaktion über mobile Geräte ermöglicht und die Betriebsbequemlichkeit und Verwaltungseffizienz des Systems in mobilen Szenarien erheblich verbessert | +| | [Huiyuan Design](http://ui.kwd988.net/) | Dank an [Huiyuan Design](http://ui.kwd988.net/) für die Bereitstellung professioneller visueller Lösungen für dieses Projekt, unter Verwendung ihrer Design-Praxiserfahrung im Dienst von über tausend Unternehmen, um die Produktbenutzererfahrung dieses Projekts zu stärken | +| | [Xi'an Qinren Information Technology](https://www.029app.com/) | Dank an [Xi'an Qinren Information Technology](https://www.029app.com/) für die Vertiefung des visuellen Systems dieses Projekts und die Sicherstellung der Konsistenz und Erweiterbarkeit des Gesamtdesignstils in Multi-Szenario-Anwendungen | +| | [Code-Mitwirkende](https://github.com/xinnan-tech/xiaozhi-esp32-server/graphs/contributors) | Dank an [alle Code-Mitwirkenden](https://github.com/xinnan-tech/xiaozhi-esp32-server/graphs/contributors), Ihre Bemühungen haben das Projekt robuster und leistungsfähiger gemacht. | + + + + + + + + Star History Chart + + From 2afd90f2d44e1ecb8e95a79d6cee27a4b7e17075 Mon Sep 17 00:00:00 2001 From: hrz <1710360675@qq.com> Date: Sat, 15 Nov 2025 00:17:11 +0800 Subject: [PATCH 2/2] =?UTF-8?q?update:=E5=A4=9A=E8=AF=AD=E8=A8=80=E9=A1=B9?= =?UTF-8?q?=E7=9B=AE=E8=87=AA=E8=BF=B0=E6=96=87=E4=BB=B6?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- README.md | 17 +-- README_de.md | 27 ++-- README_en.md | 17 +-- README_vi.md | 375 +++++++++++++++++++++++++++++++++++++++++++++++++++ 4 files changed, 402 insertions(+), 34 deletions(-) create mode 100644 README_vi.md diff --git a/README.md b/README.md index 4e82c669..943501a7 100644 --- a/README.md +++ b/README.md @@ -10,25 +10,20 @@

-English -· 常见问题 +常见问题 · 反馈问题 · 部署文档 · 更新日志

+

+ 简体中文版自述文件 + README in English + Tiếng Việt + Deutsch GitHub Contributors - - GitHub Contributors - - - Issues - - - GitHub pull requests - GitHub pull requests diff --git a/README_de.md b/README_de.md index 3ef5adcc..c3578fec 100644 --- a/README_de.md +++ b/README_de.md @@ -10,26 +10,20 @@ Unterstützt MQTT+UDP-Protokoll, Websocket-Protokoll, MCP-Endpunkte und Stimmabd

-中文 -· English -· Häufige Fragen +Häufige Fragen · Probleme melden · Deployment-Dokumentation · Release-Hinweise

+

+ 简体中文版自述文件 + README in English + Tiếng Việt + Deutsch GitHub Contributors - - GitHub Contributors - - - Issues - - - GitHub pull requests - GitHub pull requests @@ -247,6 +241,7 @@ Dieses Projekt bietet die folgenden Testwerkzeuge, um Ihnen bei der Überprüfun | Visuelle Wahrnehmung | Unterstützt mehrere VLLM (Vision Large Models), implementiert multimodale Interaktion | | Absichtserkennung | Unterstützt LLM-Absichtserkennung, Function Call-Funktionsaufruf, bietet plugin-basierten Absichtsverarbeitungsmechanismus | | Gedächtnissystem | Unterstützt lokales Kurzzeitgedächtnis, mem0ai-Schnittstellengedächtnis, mit Gedächtniszusammenfassungsfunktion | +| Wissensdatenbank | Unterstützt RAGFlow-Wissensdatenbank, ermöglicht großem Modell die Bewertung, ob Wissensdatenbank benötigt wird, bevor geantwortet wird | | Werkzeugaufruf | Unterstützt Client-IOT-Protokoll, Client-MCP-Protokoll, Server-MCP-Protokoll, MCP-Endpunktprotokoll, benutzerdefinierte Werkzeugfunktionen | | Befehlsübermittlung | Basierend auf MQTT-Protokoll, unterstützt die Übermittlung von MCP-Befehlen von der intelligenten Steuerkonsole an ESP32-Geräte | | Verwaltungs-Backend | Bietet Web-Verwaltungsoberfläche, unterstützt Benutzerverwaltung, Systemkonfiguration und Geräteverwaltung; Oberfläche unterstützt vereinfachtes Chinesisch, traditionelles Chinesisch und englische Anzeige | @@ -348,6 +343,14 @@ Tatsächlich kann jedes VLLM, das OpenAI-Schnittstellenaufrufe unterstützt, int --- +### Rag Retrieval Augmented Generation + +| Typ | Plattformname | Verwendungsmethode | Preismodell | Hinweise | +|:------:|:-------------:|:----:|:-------:|:---------------------:| +| Rag | ragflow | Schnittstellenaufrufe | Gebühren basierend auf Token-Verbrauch für Segmentierung und Tokenisierung | Nutzt RAGFlow's Retrieval-Augmented-Generation-Funktion für präzisere Dialogantworten | + +--- + ## Danksagungen 🙏 | Logo | Projekt/Unternehmen | Beschreibung | diff --git a/README_en.md b/README_en.md index eda101f7..e8437832 100644 --- a/README_en.md +++ b/README_en.md @@ -10,25 +10,20 @@ Support for MQTT+UDP protocol, Websocket protocol, MCP access point, voiceprint

-中文 -· FAQ +FAQ · Report Issues · Deployment Docs · Release Notes

+

+ 简体中文版自述文件 + README in English + Tiếng Việt + Deutsch GitHub Contributors - - GitHub Contributors - - - Issues - - - GitHub pull requests - GitHub pull requests diff --git a/README_vi.md b/README_vi.md new file mode 100644 index 00000000..92697551 --- /dev/null +++ b/README_vi.md @@ -0,0 +1,375 @@ +[![Banners](docs/images/banner1.png)](https://github.com/xinnan-tech/xiaozhi-esp32-server) + +

Dịch vụ Backend Xiaozhi xiaozhi-esp32-server

+ +

+Dự án này dựa trên lý thuyết và công nghệ trí tuệ cộng sinh người-máy để phát triển hệ thống phần mềm và phần cứng thiết bị đầu cuối thông minh
Cung cấp dịch vụ backend cho dự án phần cứng thông minh mã nguồn mở +xiaozhi-esp32
+Được triển khai bằng Python, Java, Vue theo giao thức truyền thông Xiaozhi
+Hỗ trợ giao thức MQTT+UDP, giao thức Websocket, điểm truy cập MCP, nhận dạng giọng nói và kho tri thức +

+ +

+Câu hỏi thường gặp +· Báo cáo vấn đề +· Tài liệu triển khai +· Nhật ký cập nhật +

+ +

+ 简体中文版自述文件 + README in English + Tiếng Việt + Deutsch + + GitHub Contributors + + + GitHub pull requests + + + stars + +

+ +

+Spearheaded by Professor Siyuan Liu's Team (South China University of Technology) +
+Được dẫn dắt bởi nhóm Giáo sư Lưu Tư Nguyên (Đại học Bách khoa Nam Trung Quốc) +
+华南理工大学 +

+ +--- + +## Người dùng phù hợp 👥 + +Dự án này cần được sử dụng cùng với thiết bị phần cứng ESP32. Nếu bạn đã mua phần cứng liên quan đến ESP32, đã thành công kết nối với dịch vụ backend do anh Xia triển khai, và muốn xây dựng dịch vụ backend `xiaozhi-esp32` riêng của mình, thì dự án này rất phù hợp với bạn. + +Muốn xem hiệu quả sử dụng? Hãy xem video 🎥 + + + + + + + + + + + + + + + + + + + + + + + +
+ + + 响应速度感受 + + + + + + 速度优化秘诀 + + + + + + 复杂医疗场景 + + + + + + MQTT指令下发 + + + + + + 声纹识别 + + +
+ + + 控制家电开关 + + + + + + MCP接入点 + + + + + + 多指令任务 + + + + + + 播放音乐 + + + + + + 天气插件 + + +
+ + + 实时打断 + + + + + + 拍照识物品 + + + + + + 自定义音色 + + + + + + 使用粤语交流 + + + + + + 播报新闻 + + +
+ +--- + +## Cảnh báo ⚠️ + +1. Dự án này là phần mềm mã nguồn mở, phần mềm này không có quan hệ hợp tác thương mại với bất kỳ nhà cung cấp dịch vụ API bên thứ ba nào (bao gồm nhưng không giới hạn ở các nền tảng nhận dạng giọng nói, mô hình lớn, tổng hợp giọng nói, v.v.), và không đảm bảo chất lượng dịch vụ cũng như an toàn tài chính của họ. +Khuyến nghị người dùng ưu tiên lựa chọn nhà cung cấp dịch vụ có giấy phép kinh doanh liên quan và đọc kỹ thỏa thuận dịch vụ và chính sách bảo mật của họ. Phần mềm này không lưu trữ bất kỳ khóa tài khoản nào, không tham gia vào luồng tiền và không chịu rủi ro mất tiền nạp. + +2. Chức năng của dự án này chưa hoàn thiện và chưa qua đánh giá bảo mật mạng, vui lòng không sử dụng trong môi trường sản xuất. Nếu bạn triển khai dự án này trong môi trường mạng công cộng để học tập, vui lòng thực hiện các biện pháp bảo vệ cần thiết. + +--- + +## Tài liệu triển khai + +![Banners](docs/images/banner2.png) + +Dự án này cung cấp hai phương pháp triển khai, vui lòng chọn theo nhu cầu cụ thể của bạn: + +#### 🚀 Lựa chọn phương pháp triển khai +| Phương pháp triển khai | Đặc điểm | Tình huống áp dụng | Tài liệu triển khai | Yêu cầu cấu hình | Video hướng dẫn | +|---------|------|---------|---------|---------|---------| +| **Cài đặt tối giản** | Đối thoại thông minh, IOT, MCP, cảm nhận thị giác | Môi trường cấu hình thấp, dữ liệu lưu trong tệp cấu hình, không cần cơ sở dữ liệu | [①Phiên bản Docker](./docs/Deployment.md#%E6%96%B9%E5%BC%8F%E4%B8%80docker%E5%8F%AA%E8%BF%90%E8%A1%8Cserver) / [②Triển khai mã nguồn](./docs/Deployment.md#%E6%96%B9%E5%BC%8F%E4%BA%8C%E6%9C%AC%E5%9C%B0%E6%BA%90%E7%A0%81%E5%8F%AA%E8%BF%90%E8%A1%8Cserver)| 2 nhân 4GB nếu dùng `FunASR`, 2 nhân 2GB nếu toàn API | - | +| **Cài đặt toàn bộ module** | Đối thoại thông minh, IOT, điểm truy cập MCP, nhận dạng giọng nói, cảm nhận thị giác, OTA, bảng điều khiển thông minh | Trải nghiệm đầy đủ tính năng, dữ liệu lưu trong cơ sở dữ liệu |[①Phiên bản Docker](./docs/Deployment_all.md#%E6%96%B9%E5%BC%8F%E4%B8%80docker%E8%BF%90%E8%A1%8C%E5%85%A8%E6%A8%A1%E5%9D%97) / [②Triển khai mã nguồn](./docs/Deployment_all.md#%E6%96%B9%E5%BC%8F%E4%BA%8C%E6%9C%AC%E5%9C%B0%E6%BA%90%E7%A0%81%E8%BF%90%E8%A1%8C%E5%85%A8%E6%A8%A1%E5%9D%97) / [③Hướng dẫn tự động cập nhật triển khai mã nguồn](./docs/dev-ops-integration.md) | 4 nhân 8GB nếu dùng `FunASR`, 2 nhân 4GB nếu toàn API| [Video hướng dẫn khởi động mã nguồn cục bộ](https://www.bilibili.com/video/BV1wBJhz4Ewe) | + +Câu hỏi thường gặp và hướng dẫn liên quan, vui lòng tham khảo [liên kết này](./docs/FAQ.md) + +> 💡 Gợi ý: Dưới đây là nền tảng thử nghiệm được triển khai theo mã mới nhất, có thể flash để thử nghiệm nếu cần, đồng thời là 6, dữ liệu sẽ được xóa mỗi ngày, + +``` +Địa chỉ bảng điều khiển thông minh: https://2662r3426b.vicp.fun +Bảng điều khiển thông minh (phiên bản h5): https://2662r3426b.vicp.fun/h5/index.html + +Công cụ kiểm tra dịch vụ: https://2662r3426b.vicp.fun/test/ +Địa chỉ giao diện OTA: https://2662r3426b.vicp.fun/xiaozhi/ota/ +Địa chỉ giao diện Websocket: wss://2662r3426b.vicp.fun/xiaozhi/v1/ +``` + +#### 🚩 Mô tả và khuyến nghị cấu hình +> [!Note] +> Dự án này cung cấp hai phương án cấu hình: +> +> 1. Cấu hình `Miễn phí hoàn toàn cho người mới`: Phù hợp với sử dụng gia đình cá nhân, tất cả các thành phần đều sử dụng phương án miễn phí, không cần thanh toán thêm. +> +> 2. `Cấu hình streaming`: Phù hợp với demo, đào tạo, hơn 2 đồng thời, v.v., sử dụng công nghệ xử lý streaming, tốc độ phản hồi nhanh hơn, trải nghiệm tốt hơn. +> +> Từ phiên bản `0.5.2`, dự án hỗ trợ cấu hình streaming, so với phiên bản đầu, tốc độ phản hồi cải thiện khoảng `2.5 giây`, cải thiện đáng kể trải nghiệm người dùng. + +| Tên module | Cài đặt miễn phí cho người mới | Cấu hình streaming | +|:---:|:---:|:---:| +| ASR(Nhận dạng giọng nói) | FunASR(Local) | 👍FunASR(Chế độ GPU cục bộ) | +| LLM(Mô hình lớn) | ChatGLMLLM(Zhipu glm-4-flash) | 👍AliLLM(qwen3-235b-a22b-instruct-2507) hoặc 👍DoubaoLLM(doubao-1-5-pro-32k-250115) | +| VLLM(Mô hình lớn thị giác) | ChatGLMVLLM(Zhipu glm-4v-flash) | 👍QwenVLVLLM(Qwen qwen2.5-vl-3b-instructh) | +| TTS(Tổng hợp giọng nói) | ✅LinkeraiTTS(Lingxi streaming) | 👍HuoshanDoubleStreamTTS(Tổng hợp giọng nói streaming kép Volcano) hoặc 👍AliyunStreamTTS(Tổng hợp giọng nói streaming Alibaba Cloud) | +| Intent(Nhận dạng ý định) | function_call(Gọi hàm) | function_call(Gọi hàm) | +| Memory(Chức năng bộ nhớ) | mem_local_short(Bộ nhớ ngắn hạn cục bộ) | mem_local_short(Bộ nhớ ngắn hạn cục bộ) | + +Nếu bạn quan tâm đến thời gian của từng thành phần, vui lòng xem [Báo cáo kiểm tra hiệu suất các thành phần Xiaozhi](https://github.com/xinnan-tech/xiaozhi-performance-research), có thể kiểm tra thực tế trong môi trường của bạn theo phương pháp kiểm tra trong báo cáo. + +#### 🔧 Công cụ kiểm tra +Dự án này cung cấp các công cụ kiểm tra sau để giúp bạn xác minh hệ thống và chọn mô hình phù hợp: + +| Tên công cụ | Vị trí | Phương pháp sử dụng | Mô tả chức năng | +|:---:|:---|:---:|:---:| +| Công cụ kiểm tra tương tác âm thanh | main》xiaozhi-server》test》test_page.html | Mở trực tiếp bằng trình duyệt Google Chrome | Kiểm tra chức năng phát và nhận âm thanh, xác minh xử lý âm thanh phía Python có bình thường không | +| Công cụ kiểm tra phản hồi mô hình | main》xiaozhi-server》performance_tester.py | Thực hiện `python performance_tester.py` | Kiểm tra tốc độ phản hồi của ba module cốt lõi ASR(Nhận dạng giọng nói), LLM(Mô hình lớn), VLLM(Mô hình thị giác), TTS(Tổng hợp giọng nói) | + +> 💡 Gợi ý: Khi kiểm tra tốc độ mô hình, chỉ kiểm tra các mô hình đã cấu hình khóa. + +--- +## Danh sách tính năng ✨ +### Đã thực hiện ✅ +![请参考-全模块安装架构图](docs/images/deploy2.png) +| Module chức năng | Mô tả | +|:---:|:---| +| Kiến trúc cốt lõi | Dựa trên [cổng MQTT+UDP](https://github.com/xinnan-tech/xiaozhi-esp32-server/blob/main/docs/mqtt-gateway-integration.md), WebSocket, máy chủ HTTP, cung cấp hệ thống quản lý bảng điều khiển và xác thực hoàn chỉnh | +| Tương tác giọng nói | Hỗ trợ ASR streaming(Nhận dạng giọng nói), TTS streaming(Tổng hợp giọng nói), VAD(Phát hiện hoạt động giọng nói), hỗ trợ nhận dạng đa ngôn ngữ và xử lý giọng nói | +| Nhận dạng vân giọng | Hỗ trợ đăng ký, quản lý và nhận dạng vân giọng đa người dùng, xử lý song song với ASR, nhận dạng danh tính người nói theo thời gian thực và truyền cho LLM để phản hồi cá nhân hóa | +| Đối thoại thông minh | Hỗ trợ nhiều LLM(Mô hình ngôn ngữ lớn), thực hiện đối thoại thông minh | +| Cảm nhận thị giác | Hỗ trợ nhiều VLLM(Mô hình lớn thị giác), thực hiện tương tác đa phương thức | +| Nhận dạng ý định | Hỗ trợ nhận dạng ý định mô hình lớn gắn ngoài, gọi hàm tự chủ mô hình lớn, cung cấp cơ chế xử lý ý định dạng plugin | +| Hệ thống bộ nhớ | Hỗ trợ bộ nhớ ngắn hạn cục bộ, bộ nhớ giao diện mem0ai, có chức năng tóm tắt bộ nhớ | +| Kho tri thức | Hỗ trợ kho tri thức RAGFlow, cho phép mô hình lớn đánh giá cần gọi kho tri thức trước khi trả lời | +| Gọi công cụ | Hỗ trợ giao thức IOT phía client, giao thức MCP phía client, giao thức MCP phía server, giao thức điểm truy cập MCP, hàm công cụ tùy chỉnh | +| Gửi lệnh | Dựa vào giao thức MQTT, hỗ trợ gửi lệnh MCP từ bảng điều khiển thông minh xuống thiết bị ESP32 | +| Backend quản lý | Cung cấp giao diện quản lý Web, hỗ trợ quản lý người dùng, cấu hình hệ thống và quản lý thiết bị; giao diện hỗ trợ hiển thị tiếng Trung giản thể, tiếng Trung phồn thể, tiếng Anh | +| Công cụ kiểm tra | Cung cấp công cụ kiểm tra hiệu suất, công cụ kiểm tra mô hình thị giác và công cụ kiểm tra tương tác âm thanh | +| Hỗ trợ triển khai | Hỗ trợ triển khai Docker và triển khai cục bộ, cung cấp quản lý tệp cấu hình hoàn chỉnh | +| Hệ thống plugin | Hỗ trợ mở rộng plugin chức năng, phát triển plugin tùy chỉnh và hot loading plugin | + +### Đang phát triển 🚧 + +Muốn hiểu tiến độ kế hoạch phát triển cụ thể, [vui lòng nhấp vào đây](https://github.com/users/xinnan-tech/projects/3). Câu hỏi thường gặp và hướng dẫn liên quan, vui lòng tham khảo [liên kết này](./docs/FAQ.md) + +Nếu bạn là một nhà phát triển phần mềm, đây có một [Lá thư mở gửi các nhà phát triển](docs/contributor_open_letter.md), chào mừng tham gia! + +--- + +## Hệ sinh thái sản phẩm 👬 +Xiaozhi là một hệ sinh thái, khi bạn sử dụng sản phẩm này, bạn cũng có thể xem các [dự án xuất sắc](https://github.com/78/xiaozhi-esp32?tab=readme-ov-file#%E7%9B%B8%E5%85%B3%E5%BC%80%E6%BA%90%E9%A1%B9%E7%9B%AE) khác trong hệ sinh thái này + +--- + +## Danh sách nền tảng/thành phần được dự án này hỗ trợ 📋 +### LLM Mô hình ngôn ngữ + +| Phương pháp sử dụng | Nền tảng hỗ trợ | Nền tảng miễn phí | +|:---:|:---:|:---:| +| Gọi giao diện openai | Alibaba Bailian, Volcano Engine, DeepSeek, Zhipu, Gemini, iFlytek | Zhipu, Gemini | +| Gọi giao diện ollama | Ollama | - | +| Gọi giao diện dify | Dify | - | +| Gọi giao diện fastgpt | Fastgpt | - | +| Gọi giao diện coze | Coze | - | +| Gọi giao diện xinference | Xinference | - | +| Gọi giao diện homeassistant | HomeAssistant | - | + +Trên thực tế, bất kỳ LLM nào hỗ trợ gọi giao diện openai đều có thể truy cập sử dụng. + +--- + +### VLLM Mô hình thị giác + +| Phương pháp sử dụng | Nền tảng hỗ trợ | Nền tảng miễn phí | +|:---:|:---:|:---:| +| Gọi giao diện openai | Alibaba Bailian, Zhipu ChatGLMVLLM | Zhipu ChatGLMVLLM | + +Trên thực tế, bất kỳ VLLM nào hỗ trợ gọi giao diện openai đều có thể truy cập sử dụng. + +--- + +### TTS Tổng hợp giọng nói + +| Phương pháp sử dụng | Nền tảng hỗ trợ | Nền tảng miễn phí | +|:---:|:---:|:---:| +| Gọi giao diện | EdgeTTS, iFlytek, Volcano Engine, Tencent Cloud, Alibaba Cloud và Bailian, CosyVoiceSiliconflow, TTS302AI, CozeCnTTS, GizwitsTTS, ACGNTTS, OpenAITTS, Lingxi streaming TTS, MinimaxTTS | Lingxi streaming TTS, EdgeTTS, CosyVoiceSiliconflow(một phần) | +| Dịch vụ cục bộ | FishSpeech, GPT_SOVITS_V2, GPT_SOVITS_V3, Index-TTS, PaddleSpeech | Index-TTS, PaddleSpeech, FishSpeech, GPT_SOVITS_V2, GPT_SOVITS_V3 | + +--- + +### VAD Phát hiện hoạt động giọng nói + +| Loại | Tên nền tảng | Phương pháp sử dụng | Mô hình thu phí | Ghi chú | +|:---:|:---------:|:----:|:----:|:--:| +| VAD | SileroVAD | Sử dụng cục bộ | Miễn phí | | + +--- + +### ASR Nhận dạng giọng nói + +| Phương pháp sử dụng | Nền tảng hỗ trợ | Nền tảng miễn phí | +|:---:|:---:|:---:| +| Sử dụng cục bộ | FunASR, SherpaASR | FunASR, SherpaASR | +| Gọi giao diện | FunASRServer, Volcano Engine, iFlytek, Tencent Cloud, Alibaba Cloud, Baidu Cloud, OpenAI ASR | FunASRServer | + +--- + +### Voiceprint Nhận dạng vân giọng + +| Phương pháp sử dụng | Nền tảng hỗ trợ | Nền tảng miễn phí | +|:---:|:---:|:---:| +| Sử dụng cục bộ | 3D-Speaker | 3D-Speaker | + +--- + +### Memory Lưu trữ bộ nhớ + +| Loại | Tên nền tảng | Phương pháp sử dụng | Mô hình thu phí | Ghi chú | +|:------:|:---------------:|:----:|:---------:|:--:| +| Memory | mem0ai | Gọi giao diện | Hạn mức 1000 lần/tháng | | +| Memory | mem_local_short | Tóm tắt cục bộ | Miễn phí | | +| Memory | nomem | Chế độ không có bộ nhớ | Miễn phí | | + +--- + +### Intent Nhận dạng ý định + +| Loại | Tên nền tảng | Phương pháp sử dụng | Mô hình thu phí | Ghi chú | +|:------:|:-------------:|:----:|:-------:|:---------------------:| +| Intent | intent_llm | Gọi giao diện | Thu phí theo LLM | Nhận dạng ý định qua mô hình lớn, tính tổng quát mạnh | +| Intent | function_call | Gọi giao diện | Thu phí theo LLM | Hoàn thành ý định qua gọi hàm mô hình lớn, tốc độ nhanh, hiệu quả tốt | +| Intent | nointent | Chế độ không có ý định | Miễn phí | Không thực hiện nhận dạng ý định, trả về trực tiếp kết quả đối thoại | + +--- + +### Rag Tăng cường truy xuất thông tin + +| Loại | Tên nền tảng | Phương pháp sử dụng | Mô hình thu phí | Ghi chú | +|:------:|:-------------:|:----:|:-------:|:---------------------:| +| Rag | ragflow | Gọi giao diện | Thu phí theo token tiêu tốn của phân đoạn, phân từ | Sử dụng chức năng tăng cường truy xuất của RagFlow, cung cấp phản hồi đối thoại chính xác hơn | + +--- + +## Lời cảm ơn 🙏 + +| Logo | Dự án/Công ty | Mô tả | +|:---:|:---:|:---| +| | [Robot đối thoại giọng nói Bailing](https://github.com/wwbin2017/bailing) | Dự án này được lấy cảm hứng từ [Robot đối thoại giọng nói Bailing](https://github.com/wwbin2017/bailing) và được triển khai trên cơ sở đó | +| | [Shifang Ronghai](https://www.tenclass.com/) | Cảm ơn [Shifang Ronghai](https://www.tenclass.com/) đã xây dựng giao thức truyền thông tiêu chuẩn, phương án tương thích đa thiết bị và mô phạm thực hành tình huống đồng thời cao cho hệ sinh thái Xiaozhi; cung cấp tài liệu hỗ trợ kỹ thuật toàn diện cho dự án này | +| | [Xuanfeng Technology](https://github.com/Eric0308) | Cảm ơn [Xuanfeng Technology](https://github.com/Eric0308) đã đóng góp khung gọi hàm, giao thức truyền thông MCP và mã triển khai cơ chế gọi dạng plugin, thông qua hệ thống điều phối lệnh tiêu chuẩn hóa và khả năng mở rộng động, đã cải thiện đáng kể hiệu suất tương tác và khả năng mở rộng chức năng của thiết bị front-end(IoT) | +| | [huangjunsen](https://github.com/huangjunsen0406) | Cảm ơn [huangjunsen](https://github.com/huangjunsen0406) đã đóng góp module `Bảng điều khiển thông minh di động`, thực hiện điều khiển hiệu quả và tương tác thời gian thực trên thiết bị di động đa nền tảng, cải thiện đáng kể sự tiện lợi vận hành và hiệu quả quản lý của hệ thống trong tình huống di động | +| | [Huiyuan Design](http://ui.kwd988.net/) | Cảm ơn [Huiyuan Design](http://ui.kwd988.net/) đã cung cấp giải pháp thị giác chuyên nghiệp cho dự án này, sử dụng kinh nghiệm thực tế thiết kế phục vụ hơn nghìn doanh nghiệp, trao quyền cho trải nghiệm người dùng sản phẩm của dự án này | +| | [Xi'an Qinren Information Technology](https://www.029app.com/) | Cảm ơn [Xi'an Qinren Information Technology](https://www.029app.com/) đã làm sâu sắc hệ thống thị giác của dự án này, đảm bảo tính nhất quán và khả năng mở rộng của phong cách thiết kế tổng thể trong ứng dụng đa tình huống | +| | [Người đóng góp mã](https://github.com/xinnan-tech/xiaozhi-esp32-server/graphs/contributors) | Cảm ơn [tất cả người đóng góp mã](https://github.com/xinnan-tech/xiaozhi-esp32-server/graphs/contributors), sự cống hiến của bạn khiến dự án mạnh mẽ và vững chắc hơn. | + + + + + + + + Star History Chart + +