mirror of
https://github.com/xinnan-tech/xiaozhi-esp32-server.git
synced 2026-07-23 15:43:54 +08:00
update:关于对digital-human的markdown文档的修改
This commit is contained in:
+52
-1
@@ -9,6 +9,7 @@
|
||||
* [3.2. `manager-api` (管理后端 - Java Spring Boot实现)](#32-manager-api-管理后端---java-spring-boot实现)
|
||||
* [3.3. `manager-web` (Web管理前端 - Vue.js实现)](#33-manager-web-web管理前端---vuejs实现)
|
||||
* [3.4. `manager-mobile` (移动管理端 - uni-app+Vue3实现)](#34-manager-mobile-移动管理端---uni-appvue3实现)
|
||||
* [3.5. `digital-human` (数字人测试模块 - Python+Web实现)](#35-digital-human-数字人测试模块---pythonweb实现)
|
||||
4. [数据流与交互机制](#4-数据流与交互机制)
|
||||
5. [核心功能概要](#5-核心功能概要)
|
||||
6. [部署与配置概述](#6-部署与配置概述)
|
||||
@@ -67,6 +68,13 @@
|
||||
* 基于alova + @alova/adapter-uniapp实现网络请求,与manager-api无缝集成。
|
||||
* 使用pinia进行状态管理,确保数据一致性。
|
||||
|
||||
6. **`digital-human` (数字人测试模块 - Python+Web实现):**
|
||||
这是一个独立的数字人测试模块,提供本地测试页面、前端交互资源、唤醒词运行时与事件桥能力,用于联调整个数字人交互链路。其主要能力包括:
|
||||
* 提供浏览器端的数字人测试页面,用于验证音频播放、接收和交互流程。
|
||||
* 集成本地唤醒词运行时,支持基于Sherpa-ONNX的关键词检测。
|
||||
* 通过事件桥将页面状态与本地运行时打通,便于调试唤醒词触发与交互效果。
|
||||
* 作为独立模块与`xiaozhi-server`、`manager-web`、`manager-api`并列,便于单独开发和部署。
|
||||
|
||||
**高层交互流程概述:**
|
||||
|
||||
* **语音交互主线:** **ESP32设备**捕捉到用户语音后,通过**WebSocket**将音频数据实时传输给**`xiaozhi-server`**。`xiaozhi-server`完成一系列AI处理(VAD、ASR、LLM交互、TTS)后,再通过WebSocket将合成的语音回复发送回ESP32设备进行播放。所有与语音直接相关的实时交互均在此链路完成。
|
||||
@@ -80,7 +88,8 @@ xiaozhi-esp32-server
|
||||
├─ xiaozhi-server 8000 端口 Python语言开发 负责与esp32通信
|
||||
├─ manager-web 8001 端口 Node.js+Vue开发 负责提供控制台的web界面
|
||||
├─ manager-api 8002 端口 Java语言开发 负责提供控制台的api
|
||||
└─ manager-mobile 跨平台移动应用 uni-app+Vue3开发 负责提供移动版智控台管理
|
||||
├─ manager-mobile 跨平台移动应用 uni-app+Vue3开发 负责提供移动版智控台管理
|
||||
└─ digital-human 数字人测试模块 Python+Web实现 负责本地测试页面、唤醒词运行时与事件桥
|
||||
```
|
||||
|
||||
---
|
||||
@@ -366,6 +375,48 @@ xiaozhi-esp32-server
|
||||
|
||||
---
|
||||
|
||||
### 3.5. `digital-human` (数字人测试模块 - Python+Web实现)
|
||||
|
||||
`digital-human` 组件是一个独立的数字人测试模块,负责提供本地测试页面、页面资源、唤醒词运行时和事件桥能力。它主要用于联调整个数字人交互链路,帮助开发者验证页面交互、音频能力和本地唤醒词流程。
|
||||
|
||||
* **核心目标:**
|
||||
* 提供独立的本地测试页面,用于验证数字人交互效果。
|
||||
* 提供本地唤醒词运行时,支持关键词检测与事件上报。
|
||||
* 为前端页面和本地运行时提供事件桥,打通测试链路。
|
||||
* 以独立模块形式存在,便于单独开发、调试和部署。
|
||||
|
||||
* **核心技术栈:**
|
||||
* **Python 3:** 作为测试运行时的主要语言,负责启动本地服务、管理唤醒词运行时和事件桥。
|
||||
* **原生HTML/CSS/JavaScript:** 用于构建数字人测试页面与交互逻辑。
|
||||
* **Sherpa-ONNX:** 用于本地唤醒词检测。
|
||||
* **ThreadingHTTPServer / WebSocket桥接:** 用于承载测试页面、健康检查和本地事件通信。
|
||||
|
||||
* **关键实现细节:**
|
||||
|
||||
1. **模块入口与页面资源:**
|
||||
* `start.py` 是模块启动入口,负责初始化测试运行时。
|
||||
* `index.html` 是数字人测试页面入口。
|
||||
* `js/`、`css/`、`images/`、`resources/` 目录提供页面脚本、样式和资源文件。
|
||||
|
||||
2. **本地测试运行时:**
|
||||
* `wakeword_runtime/` 目录承载本地唤醒词运行时实现。
|
||||
* 运行时负责配置加载、日志初始化、音频采集、关键词检测和服务生命周期管理。
|
||||
* 模块默认通过本地HTTP服务暴露页面地址、事件桥地址和健康检查接口。
|
||||
|
||||
3. **唤醒词检测链路:**
|
||||
* 基于Sherpa-ONNX关键词检测模型,支持本地唤醒词触发。
|
||||
* 模型文件和关键词配置位于 `wakeword_runtime/models/` 及相应配置文件中。
|
||||
* 页面侧可结合事件桥观察唤醒词服务状态和触发结果。
|
||||
|
||||
4. **调试与联调定位:**
|
||||
* 启动后可通过浏览器访问本地页面,验证音频播放、接收和交互逻辑。
|
||||
* 通过事件桥可以将唤醒词状态同步到页面,便于排查本地链路问题。
|
||||
* 详细的模型下载、运行时配置和使用说明已整理在 `docs/digital-human-wakeword.md` 中。
|
||||
|
||||
`digital-human` 的存在使得数字人相关能力可以脱离主服务独立验证,降低了页面调试、唤醒词联调和本地环境搭建的复杂度。
|
||||
|
||||
---
|
||||
|
||||
## 4. 数据流与交互机制
|
||||
|
||||
`xiaozhi-esp32-server` 系统通过各组件间定义清晰的数据流和交互协议来协同工作。主要的通信方式依赖于针对实时交互优化的WebSocket协议和适用于客户端-服务器请求的RESTful API。
|
||||
|
||||
@@ -116,7 +116,7 @@ async def main():
|
||||
"=======上面的地址是websocket协议地址,请勿用浏览器访问======="
|
||||
)
|
||||
logger.bind(tag=TAG).info(
|
||||
"如想测试websocket请用谷歌浏览器打开test目录下的test_page.html"
|
||||
"如想测试websocket请启动digital-human模块,打开浏览器交互测试"
|
||||
)
|
||||
logger.bind(tag=TAG).info(
|
||||
"=============================================================\n"
|
||||
|
||||
@@ -93,7 +93,7 @@ class WebSocketServer:
|
||||
parsed_url = urlparse(request_path)
|
||||
query_params = parse_qs(parsed_url.query)
|
||||
if "device-id" not in query_params:
|
||||
await websocket.send("端口正常,如需测试连接,请使用test_page.html")
|
||||
await websocket.send("端口正常,如需测试连接,请启动digital-human测试")
|
||||
await websocket.close()
|
||||
return
|
||||
else:
|
||||
|
||||
Reference in New Issue
Block a user