mirror of
https://github.com/xinnan-tech/xiaozhi-esp32-server.git
synced 2026-07-26 00:53:54 +08:00
@@ -215,7 +215,7 @@ Websocket接口地址: wss://2662r3426b.vicp.fun/xiaozhi/v1/
|
|||||||
| 模块名称 | 入门全免费设置 | 流式配置 |
|
| 模块名称 | 入门全免费设置 | 流式配置 |
|
||||||
|:---:|:---:|:---:|
|
|:---:|:---:|:---:|
|
||||||
| ASR(语音识别) | FunASR(本地) | 👍FunASRServer 或 👍DoubaoStreamASR |
|
| ASR(语音识别) | FunASR(本地) | 👍FunASRServer 或 👍DoubaoStreamASR |
|
||||||
| LLM(大模型) | ChatGLMLLM(智谱glm-4-flash) | 👍DoubaoLLM(火山doubao-1-5-pro-32k-250115) |
|
| LLM(大模型) | ChatGLMLLM(智谱glm-4-flash) | 👍DoubaoLLM(doubao-1-5-pro-32k-250115) 或 AliLLM(qwen3-235b-a22b-instruct-2507) |
|
||||||
| VLLM(视觉大模型) | ChatGLMVLLM(智谱glm-4v-flash) | 👍QwenVLVLLM(千问qwen2.5-vl-3b-instructh) |
|
| VLLM(视觉大模型) | ChatGLMVLLM(智谱glm-4v-flash) | 👍QwenVLVLLM(千问qwen2.5-vl-3b-instructh) |
|
||||||
| TTS(语音合成) | ✅LinkeraiTTS(灵犀流式) | 👍HuoshanDoubleStreamTTS(火山双流式语音合成) 或 👍AliyunStreamTTS(阿里云流式语音合成) |
|
| TTS(语音合成) | ✅LinkeraiTTS(灵犀流式) | 👍HuoshanDoubleStreamTTS(火山双流式语音合成) 或 👍AliyunStreamTTS(阿里云流式语音合成) |
|
||||||
| Intent(意图识别) | function_call(函数调用) | function_call(函数调用) |
|
| Intent(意图识别) | function_call(函数调用) | function_call(函数调用) |
|
||||||
|
|||||||
+31
-71
@@ -34,59 +34,16 @@ conda install conda-forge::ffmpeg
|
|||||||
### 5、如何提高小智对话响应速度? ⚡
|
### 5、如何提高小智对话响应速度? ⚡
|
||||||
|
|
||||||
本项目默认配置为低成本方案,建议初学者先使用默认免费模型,解决"跑得动"的问题,再优化"跑得快"。
|
本项目默认配置为低成本方案,建议初学者先使用默认免费模型,解决"跑得动"的问题,再优化"跑得快"。
|
||||||
如需提升响应速度,可尝试更换各组件。以下为各组件的响应速度测试数据(仅供参考,不构成承诺):
|
如需提升响应速度,可尝试更换各组件。自`0.5.2`版本起,项目支持流式配置,相比早期版本,响应速度提升约`2.5秒`,显著改善用户体验。
|
||||||
|
|
||||||
| 影响因素 | 因素值 |
|
| 模块名称 | 入门全免费设置 | 流式配置 |
|
||||||
|:-----:|:----------------:|
|
|:---:|:---:|:---:|
|
||||||
| 测试地点 | 广东省广州市海珠区 |
|
| ASR(语音识别) | FunASR(本地) | 👍FunASRServer 或 👍DoubaoStreamASR |
|
||||||
| 测试时间 | 2025年2月19日 12:52 |
|
| LLM(大模型) | ChatGLMLLM(智谱glm-4-flash) | 👍DoubaoLLM(doubao-1-5-pro-32k-250115) 或 AliLLM(qwen3-235b-a22b-instruct-2507) |
|
||||||
| 宽带运营商 | 中国联通 |
|
| VLLM(视觉大模型) | ChatGLMVLLM(智谱glm-4v-flash) | 👍QwenVLVLLM(千问qwen2.5-vl-3b-instructh) |
|
||||||
|
| TTS(语音合成) | ✅LinkeraiTTS(灵犀流式) | 👍HuoshanDoubleStreamTTS(火山双流式语音合成) 或 👍AliyunStreamTTS(阿里云流式语音合成) |
|
||||||
测试方法:
|
| Intent(意图识别) | function_call(函数调用) | function_call(函数调用) |
|
||||||
|
| Memory(记忆功能) | mem_local_short(本地短期记忆) | mem_local_short(本地短期记忆) |
|
||||||
1、把各组件的密钥配置上去,只有配置了密钥的组件才参与测试。
|
|
||||||
|
|
||||||
2、配置完密钥后,执行以下方法
|
|
||||||
|
|
||||||
```
|
|
||||||
# 进入项目根目录,执行以下命令:
|
|
||||||
conda activate xiaozhi-esp32-server
|
|
||||||
python performance_tester.py
|
|
||||||
```
|
|
||||||
|
|
||||||
生成报告如下
|
|
||||||
|
|
||||||
LLM 性能排行:
|
|
||||||
|
|
||||||
| 模块名称 | 平均首Token时间 | 平均总响应时间 |
|
|
||||||
|:-----------|:-----------|:--------|
|
|
||||||
| AliLLM | 0.547s | 1.485s |
|
|
||||||
| ChatGLMLLM | 0.677s | 3.057s |
|
|
||||||
|
|
||||||
TTS 性能排行:
|
|
||||||
|
|
||||||
| 模块名称 | 平均合成时间 |
|
|
||||||
|----------------------|--------|
|
|
||||||
| EdgeTTS | 1.019s |
|
|
||||||
| DoubaoTTS | 0.503s |
|
|
||||||
| CosyVoiceSiliconflow | 3.732s |
|
|
||||||
|
|
||||||
推荐配置组合 (综合响应速度):
|
|
||||||
|
|
||||||
| 组合方案 | 综合得分 | LLM首Token | TTS合成 |
|
|
||||||
|-------------------------------|-------|-----------|--------|
|
|
||||||
| AliLLM + DoubaoTTS | 0.539 | 0.547s | 0.503s |
|
|
||||||
| AliLLM + EdgeTTS | 0.642 | 0.547s | 1.019s |
|
|
||||||
| ChatGLMLLM + DoubaoTTS | 0.642 | 0.677s | 0.503s |
|
|
||||||
| ChatGLMLLM + EdgeTTS | 0.745 | 0.677s | 1.019s |
|
|
||||||
| AliLLM + CosyVoiceSiliconflow | 1.184 | 0.547s | 3.732s |
|
|
||||||
|
|
||||||
### 结论 🔍
|
|
||||||
|
|
||||||
`2025年2月19日`,如果我的电脑在`广东省广州市海珠区`,且使用的是`中国联通`网络,我会优先使用:
|
|
||||||
|
|
||||||
- LLM:`AliLLM`
|
|
||||||
- TTS:`DoubaoTTS`
|
|
||||||
|
|
||||||
### 6、我说话很慢,停顿时小智老是抢话 🗣️
|
### 6、我说话很慢,停顿时小智老是抢话 🗣️
|
||||||
|
|
||||||
@@ -100,30 +57,33 @@ VAD:
|
|||||||
min_silence_duration_ms: 700 # 如果说话停顿较长,可将此值调大
|
min_silence_duration_ms: 700 # 如果说话停顿较长,可将此值调大
|
||||||
```
|
```
|
||||||
|
|
||||||
### 7、我想通过小智控制电灯、空调、远程开关机等操作 💡
|
### 7、部署相关教程
|
||||||
|
1、[如何进行最简化部署](./Deployment.md)
|
||||||
|
2、[如何进行全模块部署](./Deployment_all.md)
|
||||||
|
3、[如何自动拉取本项目最新代码自动编译和启动](./dev-ops-integration.md)
|
||||||
|
4、[如何与Nginx集成](https://github.com/xinnan-tech/xiaozhi-esp32-server/issues/791)
|
||||||
|
|
||||||
参考教程[ESP32设备与HomeAssistant集成指南](./homeassistant-integration.md)
|
### 8、编译固件相关教程
|
||||||
|
1、[如何自己编译小智固件](./firmware-build.md)
|
||||||
|
2、[如何基于虾哥编译好的固件修改OTA地址](./firmware-setting.md)
|
||||||
|
|
||||||
### 8、如何开启手机注册智控台 📱
|
### 8、拓展相关教程
|
||||||
|
1、[如何开启手机号码注册智控台](./ali-sms-integration.md)
|
||||||
|
2、[如何集成HomeAssistant实现智能家居控制](./homeassistant-integration.md)
|
||||||
|
3、[如何开启视觉模型实现拍照识物](./mcp-vision-integration.md)
|
||||||
|
4、[如何部署MCP接入点](./mcp-endpoint-enable.md)
|
||||||
|
5、[如何接入MCP接入点](./mcp-endpoint-integration.md)
|
||||||
|
6、[如何开启声纹识别](./voiceprint-integration.md)
|
||||||
|
10、[新闻插件源配置指南](./newsnow_plugin_config.md)
|
||||||
|
|
||||||
参考教程[阿里云短信集成指南](./ali-sms-integration.md)
|
### 9、语音克隆、本地语音部署相关教程
|
||||||
|
1、[如何部署集成index-tts本地语音](./IndexStreamTTS-deploy.md)
|
||||||
|
2、[如何部署集成fish-speech本地语音](./fish-speech-integration.md)
|
||||||
|
3、[如何部署集成PaddleSpeech本地语音](./paddlespeech-deploy.md)
|
||||||
|
|
||||||
### 9、如何开启视觉模型实现拍照识物 📷
|
### 10、性能测试教程
|
||||||
|
1、[各组件速度测试指南](./performance_tester.md)
|
||||||
参考教程[视觉模型使用指南](./mcp-vision-integration.md)
|
|
||||||
|
|
||||||
### 10、如何开启MCP接入点 🔧
|
|
||||||
|
|
||||||
1、先参考教程[MCP 接入点部署使用指南](./mcp-endpoint-enable.md)
|
|
||||||
|
|
||||||
2、再参考教程[MCP 接入点使用指南](./mcp-endpoint-integration.md)
|
|
||||||
|
|
||||||
### 12、如何开启声纹识别 🔊
|
|
||||||
|
|
||||||
参考教程[声纹识别启用指南](./voiceprint-integration.md)
|
|
||||||
|
|
||||||
### 13、更多问题,可联系我们反馈 💬
|
### 13、更多问题,可联系我们反馈 💬
|
||||||
|
|
||||||
可以在[issues](https://github.com/xinnan-tech/xiaozhi-esp32-server/issues)提交您的问题。
|
可以在[issues](https://github.com/xinnan-tech/xiaozhi-esp32-server/issues)提交您的问题。
|
||||||
|
|
||||||
也可以发邮件我们取得联系:huangrongzhuang@xin-nan.com
|
|
||||||
@@ -23,7 +23,5 @@ ASR:
|
|||||||
```
|
```
|
||||||
4.在main/xiaozhi-server目录下运行performance_tester.py:
|
4.在main/xiaozhi-server目录下运行performance_tester.py:
|
||||||
```
|
```
|
||||||
python performance_test_tool.py
|
python performance_tester.py
|
||||||
```
|
```
|
||||||
5.性能测试结果将保存在test_result目录。
|
|
||||||
6.得到测试结果
|
|
||||||
Reference in New Issue
Block a user