update: 增加TTS音色语种选择

main/manager-api/src/main/java/xiaozhi/modules/agent/dto/AgentUpdateDTO.java

@@ -41,6 +41,9 @@ public class AgentUpdateDTO implements Serializable {
     @Schema(description = "音色标识", example = "voice_02", nullable = true)
     private String ttsVoiceId;
 
+    @Schema(description = "音色语言", example = "普通话", nullable = true)
+    private String ttsLanguage;
+
     @Schema(description = "记忆模型标识", example = "mem_model_02", nullable = true)
     private String memModelId;
 

main/manager-api/src/main/java/xiaozhi/modules/agent/entity/AgentEntity.java

@@ -45,6 +45,9 @@ public class AgentEntity {
     @Schema(description = "音色标识")
     private String ttsVoiceId;
 
+    @Schema(description = "音色语言")
+    private String ttsLanguage;
+
     @Schema(description = "记忆模型标识")
     private String memModelId;
 

main/manager-api/src/main/java/xiaozhi/modules/agent/entity/AgentTemplateEntity.java

@@ -64,6 +64,11 @@ public class AgentTemplateEntity implements Serializable {
      */
     private String ttsVoiceId;
 
+    /**
+     * 音色语言
+     */
+    private String ttsLanguage;
+
     /**
      * 记忆模型标识
      */

main/manager-api/src/main/java/xiaozhi/modules/agent/service/impl/AgentServiceImpl.java

@@ -282,6 +282,9 @@ public class AgentServiceImpl extends BaseServiceImpl<AgentDao, AgentEntity> imp
         if (dto.getTtsVoiceId() != null) {
             existingEntity.setTtsVoiceId(dto.getTtsVoiceId());
         }
+        if (dto.getTtsLanguage() != null) {
+            existingEntity.setTtsLanguage(dto.getTtsLanguage());
+        }
         if (dto.getMemModelId() != null) {
             existingEntity.setMemModelId(dto.getMemModelId());
         }

main/manager-api/src/main/java/xiaozhi/modules/config/service/impl/ConfigServiceImpl.java

@@ -87,6 +87,7 @@ public class ConfigServiceImpl implements ConfigService {
                 null,
                 null,
                 null,
+                null,
                 agent.getVadModelId(),
                 agent.getAsrModelId(),
                 null,
@@ -135,15 +136,24 @@ public class ConfigServiceImpl implements ConfigService {
         String voice = null;
         String referenceAudio = null;
         String referenceText = null;
+        String language = null;
         TimbreDetailsVO timbre = timbreService.get(agent.getTtsVoiceId());
         if (timbre != null) {
             voice = timbre.getTtsVoice();
             referenceAudio = timbre.getReferenceAudio();
             referenceText = timbre.getReferenceText();
+            // 优先使用用户选择的语言，如果没有则使用音色支持的第一个语言
+            if (StringUtils.isNotBlank(agent.getTtsLanguage())) {
+                language = agent.getTtsLanguage();
+            } else if (StringUtils.isNotBlank(timbre.getLanguages())) {
+                language = timbre.getLanguages().split("、")[0].trim();
+            }
         } else {
             VoiceCloneEntity voice_print = cloneVoiceService.selectById(agent.getTtsVoiceId());
             if (voice_print != null) {
                 voice = voice_print.getVoiceId();
+                // 优先使用用户选择的语言，如果没有则使用默认值
+                language = StringUtils.isNotBlank(agent.getTtsLanguage()) ? agent.getTtsLanguage() : "普通话";
             }
         }
         // 构建返回数据
@@ -208,6 +218,7 @@ public class ConfigServiceImpl implements ConfigService {
                 voice,
                 referenceAudio,
                 referenceText,
+                language,
                 agent.getVadModelId(),
                 agent.getAsrModelId(),
                 agent.getLlmModelId(),
@@ -385,6 +396,7 @@ public class ConfigServiceImpl implements ConfigService {
             String voice,
             String referenceAudio,
             String referenceText,
+            String language,
             String vadModelId,
             String asrModelId,
             String llmModelId,
@@ -423,6 +435,8 @@ public class ConfigServiceImpl implements ConfigService {
                         ((Map<String, Object>) model.getConfigJson()).put("ref_audio", referenceAudio);
                     if (referenceText != null)
                         ((Map<String, Object>) model.getConfigJson()).put("ref_text", referenceText);
+                    if (language != null)
+                        ((Map<String, Object>) model.getConfigJson()).put("language", language);
 
                     // 火山引擎声音克隆需要替换resource_id
                     Map<String, Object> map = (Map<String, Object>) model.getConfigJson();

main/manager-api/src/main/java/xiaozhi/modules/model/dto/VoiceDTO.java

@@ -23,6 +23,9 @@ public class VoiceDTO implements Serializable {
     @Schema(description = "音频播放地址")
     private String voiceDemo;
     
+    @Schema(description = "语言类型")
+    private String languages;
+    
     @Schema(description = "是否为克隆音色")
     private Boolean isClone;
 
@@ -31,6 +34,7 @@ public class VoiceDTO implements Serializable {
         this.id = id;
         this.name = name;
         this.voiceDemo = null;
+        this.languages = null;
         this.isClone = false; // 默认不是克隆音色
     }
     
@@ -39,6 +43,7 @@ public class VoiceDTO implements Serializable {
         this.id = id;
         this.name = name;
         this.voiceDemo = voiceDemo;
+        this.languages = null;
         this.isClone = false;
     }
 

main/manager-api/src/main/java/xiaozhi/modules/timbre/service/impl/TimbreServiceImpl.java

@@ -129,6 +129,7 @@ public class TimbreServiceImpl extends BaseServiceImpl<TimbreDao, TimbreEntity>
                 .map(entity -> {
                     VoiceDTO dto = new VoiceDTO(entity.getId(), entity.getName());
                     dto.setVoiceDemo(entity.getVoiceDemo());
+                    dto.setLanguages(entity.getLanguages()); // 设置语言类型
                     dto.setIsClone(false); // 设置为普通音色
                     return dto;
                 })
@@ -146,6 +147,7 @@ public class TimbreServiceImpl extends BaseServiceImpl<TimbreDao, TimbreEntity>
                 voiceDTO.setName(MessageUtils.getMessage(ErrorCode.VOICE_CLONE_PREFIX) + entity.getName());
                 // 保留从数据库查询到的voiceDemo字段
                 voiceDTO.setVoiceDemo(entity.getVoiceDemo());
+                voiceDTO.setLanguages(entity.getLanguages());
                 voiceDTO.setIsClone(true); // 设置为克隆音色
                 redisUtils.set(RedisKeys.getTimbreNameById(voiceDTO.getId()), voiceDTO.getName(),
                         RedisUtils.NOT_EXPIRE);

main/manager-api/src/main/resources/db/changelog/202602061650.sql

@@ -12,3 +12,9 @@ SET languages = CASE
     WHEN languages = '粤语及粤英混合' THEN '粤语、英语'
     ELSE languages
 END;
+
+-- 添加音色语言字段到 ai_agent 表
+ALTER TABLE `ai_agent` ADD COLUMN `tts_language` VARCHAR(50) NULL COMMENT '音色语言' AFTER `tts_voice_id`;
+
+-- 添加音色语言字段到 ai_agent_template 表
+ALTER TABLE `ai_agent_template` ADD COLUMN `tts_language` VARCHAR(50) NULL COMMENT '音色语言' AFTER `tts_voice_id`;

main/manager-api/src/main/resources/mapper/agent/AgentDao.xml

@@ -16,6 +16,7 @@
         <result column="llmModelId" property="llmModelId"/>
         <result column="ttsModelId" property="ttsModelId"/>
         <result column="ttsVoiceId" property="ttsVoiceId"/>
+        <result column="ttsLanguage" property="ttsLanguage"/>
         <result column="memModelId" property="memModelId"/>
         <result column="intentModelId" property="intentModelId"/>
 
@@ -45,6 +46,7 @@
                a.vllm_model_id     AS vllmModelId,
                a.tts_model_id      AS ttsModelId,
                a.tts_voice_id      AS ttsVoiceId,
+               a.tts_language      AS ttsLanguage,
                a.mem_model_id      AS memModelId,
                a.intent_model_id   AS intentModelId,
                COALESCE(

main/manager-web/src/components/HeaderBar.vue

@@ -871,8 +871,8 @@ export default {
   }
 
   .equipment-management {
-    width: 79px;
+    min-width: 80px;
-    font-size: 9px;
+    font-size: 10px;
   }
 }
 

main/manager-web/src/i18n/de.js

@@ -762,6 +762,7 @@ export default {
   'roleConfig.memoryHis': 'Speicher',
   'roleConfig.memory': 'Speicher',
   'roleConfig.intent': 'Intent',
+  'roleConfig.language': 'Sprache auswählen',
   'roleConfig.voiceType': 'Stimmtyp',
   'roleConfig.pleaseEnterContent': 'Bitte Inhalt eingeben',
   'roleConfig.pleaseEnterLangCode': 'Bitte Sprachcode eingeben, z.B.: en_US',

main/manager-web/src/i18n/en.js

@@ -762,6 +762,7 @@ export default {
   'roleConfig.memoryHis': 'Memory',
   'roleConfig.memory': 'Memory Model',
   'roleConfig.intent': 'Intent Recognition',
+  'roleConfig.language': 'Select Language',
   'roleConfig.voiceType': 'Voice Type',
   'roleConfig.pleaseEnterContent': 'Please enter content',
   'roleConfig.pleaseEnterLangCode': 'Please enter language code, e.g.: en_US',

main/manager-web/src/i18n/vi.js

@@ -762,6 +762,7 @@ export default {
   'roleConfig.memoryHis': 'Bộ nhớ',
   'roleConfig.memory': 'Mô hình bộ nhớ',
   'roleConfig.intent': 'Nhận dạng ý định',
+  'roleConfig.language': 'Chọn ngôn ngữ',
   'roleConfig.voiceType': 'Loại giọng nói',
   'roleConfig.pleaseEnterContent': 'Vui lòng nhập nội dung',
   'roleConfig.pleaseEnterLangCode': 'Vui lòng nhập mã ngôn ngữ, ví dụ: en_US',

main/manager-web/src/i18n/zh_CN.js

@@ -762,6 +762,7 @@ export default {
   'roleConfig.memoryHis': '记忆',
   'roleConfig.memory': '记忆模式',
   'roleConfig.tts': '语音合成(TTS)',
+  'roleConfig.language': '选择语言',
   'roleConfig.voiceType': '声音音色(Voice)',
   'roleConfig.pleaseEnterContent': '请输入内容',
   'roleConfig.pleaseEnterLangCode': '请输入语言编码，如：zh_CN',

main/manager-web/src/i18n/zh_TW.js

@@ -762,6 +762,7 @@ export default {
   'roleConfig.memoryHis': '記憶',
   'roleConfig.memory': '記憶模式',
   'roleConfig.intent': '意圖識別(Intent)',
+  'roleConfig.language': '選擇語言',
   'roleConfig.voiceType': '聲音音色(Voice)',
   'roleConfig.pleaseEnterContent': '請輸入內容',
   'roleConfig.pleaseEnterLangCode': '請輸入語言編碼，如：zh_TW',

main/manager-web/src/views/roleConfig.vue

@@ -232,47 +232,71 @@
                         </div>
                       </div>
                     </el-form-item>
-                    <el-form-item :label="$t('roleConfig.voiceType')">
+                    <div class="model-row">
-                      <el-select
+                      <!-- 语言筛选器 -->
-                        v-model="form.ttsVoiceId"
+                      <el-form-item :label="$t('roleConfig.language')" class="model-item">
-                        filterable
+                        <div class="model-select-wrapper">
-                        :placeholder="$t('roleConfig.pleaseSelect')"
+                          <el-select
-                        class="form-select"
+                            v-model="selectedLanguage"
-                      >
+                            :placeholder="$t('roleConfig.selectLanguage')"
-                        <el-option
+                            class="form-select"
-                          v-for="(item, index) in voiceOptions"
+                            @change="filterVoicesByLanguage"
-                          :key="`voice-${index}`"
-                          :label="item.label"
-                          :value="item.value"
-                        >
-                          <div
-                            style="
-                              display: flex;
-                              justify-content: space-between;
-                              align-items: center;
-                            "
                           >
-                            <span>{{ item.label }}</span>
+                            <el-option
-                            <template v-if="hasAudioPreview(item)">
+                              v-for="(lang, index) in languageOptions"
-                              <el-button
+                              :key="`lang-${index}`"
-                                type="text"
+                              :label="lang.label"
-                                :icon="
+                              :value="lang.value"
-                                  playingVoice &&
+                            />
-                                  currentPlayingVoiceId === item.value &&
+                          </el-select>
-                                  !isPaused
+                        </div>
-                                    ? 'el-icon-video-pause'
+                      </el-form-item>
-                                    : 'el-icon-video-play'
+                      
+                      <!-- 音色选择器 -->
+                      <el-form-item :label="$t('roleConfig.voiceType')" class="model-item">
+                        <div class="model-select-wrapper">
+                          <el-select
+                            v-model="form.ttsVoiceId"
+                            filterable
+                            :placeholder="$t('roleConfig.pleaseSelect')"
+                            class="form-select"
+                          >
+                            <el-option
+                              v-for="(item, index) in voiceOptions"
+                              :key="`voice-${index}`"
+                              :label="item.label"
+                              :value="item.value"
+                            >
+                              <div
+                                style="
+                                  display: flex;
+                                  justify-content: space-between;
+                                  align-items: center;
                                 "
-                                size="small"
+                              >
-                                @click.stop="toggleAudioPlayback(item.value)"
+                                <span>{{ item.label }}</span>
-                                :loading="false"
+                                <template v-if="hasAudioPreview(item)">
-                                class="play-button"
+                                  <el-button
-                              />
+                                    type="text"
-                            </template>
+                                    :icon="
-                          </div>
+                                      playingVoice &&
-                        </el-option>
+                                      currentPlayingVoiceId === item.value &&
-                      </el-select>
+                                      !isPaused
-                    </el-form-item>
+                                        ? 'el-icon-video-pause'
+                                        : 'el-icon-video-play'
+                                    "
+                                    size="small"
+                                    @click.stop="toggleAudioPlayback(item.value)"
+                                    :loading="false"
+                                    class="play-button"
+                                  />
+                                </template>
+                              </div>
+                            </el-option>
+                          </el-select>
+                        </div>
+                      </el-form-item>
+                    </div>
                   </div>
                 </div>
               </div>
@@ -357,6 +381,9 @@ export default {
       isPaused: false,
       currentAudio: null,
       currentPlayingVoiceId: null,
+      // 语言筛选相关状态
+      languageOptions: [], // 语言选项列表
+      selectedLanguage: '', // 当前选中的语言
       // 功能状态
       featureStatus: {
         vad: false, // 语言检测活动功能状态
@@ -378,6 +405,7 @@ export default {
         vllmModelId: this.form.model.vllmModelId,
         ttsModelId: this.form.model.ttsModelId,
         ttsVoiceId: this.form.ttsVoiceId,
+        ttsLanguage: this.selectedLanguage,
         chatHistoryConf: this.form.chatHistoryConf,
         memModelId: this.form.model.memModelId,
         intentModelId: this.form.model.intentModelId,
@@ -592,32 +620,84 @@ export default {
       if (!modelId) {
         this.voiceOptions = [];
         this.voiceDetails = {};
+        this.languageOptions = [];
+        this.selectedLanguage = '';
         return;
       }
       Api.model.getModelVoices(modelId, "", ({ data }) => {
         if (data.code === 0 && data.data) {
-          this.voiceOptions = data.data.map((voice) => ({
+          // 保存完整的音色信息
-            value: voice.id,
-            label: voice.name,
-            // 只保留后端实际返回的音频相关字段
-            voiceDemo: voice.voiceDemo,
-            voice_demo: voice.voice_demo,
-            // 使用后端实际返回的 isClone 字段
-            isClone: Boolean(voice.isClone),
-            // 保存训练状态字段
-            train_status: voice.trainStatus,
-          }));
-          // 保存完整的音色信息，添加调试信息
           this.voiceDetails = data.data.reduce((acc, voice) => {
             acc[voice.id] = voice;
             return acc;
           }, {});
+          
+          // 提取所有语言选项并去重
+          const allLanguages = new Set();
+          data.data.forEach(voice => {
+            if (voice.languages) {
+              const languagesArray = voice.languages.split('、').map(lang => lang.trim()).filter(lang => lang);
+              languagesArray.forEach(lang => allLanguages.add(lang));
+            }
+          });
+
+          this.languageOptions = Array.from(allLanguages).map(lang => ({
+            value: lang,
+            label: lang
+          }));
+
+          // 使用后端返回的用户选择的语言，如果没有则使用第一个语言选项
+          if (this.form.ttsLanguage && this.languageOptions.some(option => option.value === this.form.ttsLanguage)) {
+            this.selectedLanguage = this.form.ttsLanguage;
+          } else if (this.languageOptions.length > 0) {
+            this.selectedLanguage = this.languageOptions[0].value;
+          }
+
+          // 根据选中的语言筛选音色
+          this.filterVoicesByLanguage();
         } else {
           this.voiceOptions = [];
           this.voiceDetails = {};
+          this.languageOptions = [];
+          this.selectedLanguage = '';
         }
       });
     },
+    
+    // 根据语言筛选音色
+    filterVoicesByLanguage() {
+      if (!this.voiceDetails || Object.keys(this.voiceDetails).length === 0) {
+        this.voiceOptions = [];
+        return;
+      }
+
+      const allVoices = Object.values(this.voiceDetails);
+
+      // 根据选中的语言筛选音色
+      const filteredVoices = allVoices.filter(voice => {
+        if (!voice.languages) return false;
+        const languagesArray = voice.languages.split('、').map(lang => lang.trim()).filter(lang => lang);
+        return languagesArray.includes(this.selectedLanguage);
+      });
+
+      this.voiceOptions = filteredVoices.map((voice) => ({
+        value: voice.id,
+        label: voice.name,
+        voiceDemo: voice.voiceDemo,
+        voice_demo: voice.voice_demo,
+        isClone: Boolean(voice.isClone),
+        train_status: voice.trainStatus,
+      }));
+
+      // 检查当前选中的音色是否支持当前语言，如果不支持则选择第一个
+      const currentVoiceSupportsLanguage = this.form.ttsVoiceId &&
+        filteredVoices.some(voice => voice.id === this.form.ttsVoiceId);
+
+      if (!currentVoiceSupportsLanguage) {
+        this.form.ttsVoiceId = filteredVoices.length > 0 ? filteredVoices[0].id : '';
+      }
+    },
+
     getFunctionDisplayChar(name) {
       if (!name || name.length === 0) return "";
 

main/xiaozhi-server/agent-base-prompt.txt

@@ -2,6 +2,10 @@
 {{base_prompt}}
 </identity>
 
+<language>
+【语言规范】你必须使用{{language}}进行回复和交流。无论用户使用何种语言提问，你都应该用{{language}}来回答。
+</language>
+
 <emotion>
 【核心目标】你不是冰冷的机器！请敏锐感知用户情绪，作为懂人心的伙伴，用有温度的回应照亮对话。
 - **情感融入：**

main/xiaozhi-server/config.yaml

@@ -733,6 +733,7 @@ TTS:
     type: edge
     voice: zh-CN-XiaoxiaoNeural
     output_dir: tmp/
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   DoubaoTTS:
     # 定义TTS API类型
     type: doubao
@@ -751,6 +752,7 @@ TTS:
     speed_ratio: 1.0
     volume_ratio: 1.0
     pitch_ratio: 1.0
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   #火山tts，支持双向流式tts
   HuoshanDoubleStreamTTS:
     type: huoshan_double_stream
@@ -791,6 +793,7 @@ TTS:
     #       mix_factor: 0.3
     #     - source_speaker: zh_male_ahu_conversation_wvae_bigtts
     #       mix_factor: 0.4
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   CosyVoiceSiliconflow:
     type: siliconflow
     # 硅基流动TTS
@@ -800,6 +803,7 @@ TTS:
     output_dir: tmp/
     access_token: 你的硅基流动API密钥
     response_format: wav
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   CozeCnTTS:
     type: cozecn
     # COZECN TTS
@@ -808,6 +812,7 @@ TTS:
     output_dir: tmp/
     access_token: 你的coze web key
     response_format: wav
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   VolcesAiGatewayTTS:
     type: openai
     # 火山引擎 - 边缘大模型网关
@@ -822,6 +827,7 @@ TTS:
     voice: zh_male_shaonianzixin_moon_bigtts
     speed: 1
     output_dir: tmp/
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   FishSpeech:
     # 参照教程：https://github.com/xinnan-tech/xiaozhi-esp32-server/blob/main/docs/fish-speech-integration.md
     type: fishspeech
@@ -843,6 +849,7 @@ TTS:
     rate: 44100
     api_key: "你的api_key"
     api_url: "http://127.0.0.1:8080/v1/tts"
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   GPT_SOVITS_V2:
     # 定义TTS API类型
     #启动tts方法：
@@ -868,6 +875,7 @@ TTS:
     parallel_infer: true
     repetition_penalty: 1.35
     aux_ref_audio_paths: []
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   GPT_SOVITS_V3:
     # 定义TTS API类型 GPT-SoVITS-v3lora-20250228
     #启动tts方法：
@@ -887,6 +895,7 @@ TTS:
     inp_refs: []
     sample_steps: 32
     if_sr: false
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   MinimaxTTSHTTPStream:
   # Minimax流式语音合成服务
     type: minimax_httpstream
@@ -918,6 +927,7 @@ TTS:
     #     voice_id: female-shaonv
     #     weight: 1
     # language_boost: auto
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   AliyunTTS:
     # 阿里云智能语音交互服务，需要先在阿里云平台开通服务，然后获取验证信息
     # 平台地址：https://nls-portal.console.aliyun.com/
@@ -937,6 +947,7 @@ TTS:
     # volume: 50
     # speech_rate: 0
     # pitch_rate: 0
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   AliyunStreamTTS:
     # 阿里云CosyVoice大模型流式文本语音合成
     # 采用FlowingSpeechSynthesizer接口，支持更低延迟和更自然的语音质量
@@ -960,6 +971,7 @@ TTS:
     # volume: 50  # 音量：0-100
     # speech_rate: 0  # 语速：-500到500
     # pitch_rate: 0  # 语调：-500到500
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   TencentTTS:
     # 腾讯云智能语音交互服务，需要先在腾讯云平台开通服务
     # appid、secret_id、secret_key申请地址：https://console.cloud.tencent.com/cam/capi
@@ -971,6 +983,7 @@ TTS:
     secret_key: 你的腾讯云SecretKey
     region: ap-guangzhou
     voice: 101001
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
 
   TTS302AI:
     # 302AI语音合成服务，需要先在302平台创建账户充值，并获取密钥信息
@@ -985,6 +998,7 @@ TTS:
     voice: "zh_female_wanwanxiaohe_moon_bigtts"
     output_dir: tmp/
     access_token: "你的302API密钥"
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   GizwitsTTS:
     type: doubao
     # 火山引擎作为基座，可以完全使用企业级火山引擎语音合成服务
@@ -996,6 +1010,7 @@ TTS:
     voice: "zh_female_wanwanxiaohe_moon_bigtts"
     output_dir: tmp/
     access_token: "你的机智云API key"
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   ACGNTTS:
     #在线网址：https://acgn.ttson.cn/
     #token购买：www.ttson.cn
@@ -1013,6 +1028,7 @@ TTS:
     format: mp3
     output_dir: tmp/
     emotion: 1
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   OpenAITTS:
     # openai官方文本转语音服务，可支持全球大多数语种
     type: openai
@@ -1028,6 +1044,7 @@ TTS:
     # 语速范围0.25-4.0
     speed: 1
     output_dir: tmp/
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   CustomTTS:
     # 自定义的TTS接口服务，请求参数可自定义，可接入众多TTS服务
     # 以本地部署的KokoroTTS为例
@@ -1050,6 +1067,7 @@ TTS:
       # Authorization: Bearer xxxx
     format: mp3 # 接口返回的音频格式
     output_dir: tmp/
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   LinkeraiTTS:
     type: linkerai
     api_url: https://tts.linkerai.cn/tts
@@ -1061,6 +1079,7 @@ TTS:
     access_token: "U4YdYXVfpwWnk2t5Gp822zWPCuORyeJL"
     voice: "OUeAo1mhq6IBExi"
     output_dir: tmp/
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   PaddleSpeechTTS:
     #百度飞浆 PaddleSpeech 支持本地离线部署 支持模型训练
     #框架地址 https://www.paddlepaddle.org.cn/
@@ -1074,6 +1093,7 @@ TTS:
     speed: 1.0  # 语速，1.0 表示正常语速，>1 表示加快，<1 表示减慢
     volume: 1.0  # 音量，1.0 表示正常音量，>1 表示增大，<1 表示减小
     save_path:   # 保存路径
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   IndexStreamTTS:
     # 基于Index-TTS-vLLM项目的TTS接口服务
     # 参照教程：https://github.com/Ksuriuri/index-tts-vllm/blob/master/README.md
@@ -1083,6 +1103,7 @@ TTS:
     # 默认音色，如需其他音色可到项目assets文件夹下注册
     voice: "jay_klee"
     output_dir: tmp/
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   AliBLTTS:
     # 阿里百炼CosyVoice大模型流式文本语音合成
     # 可在这里找到你的 api_key https://bailian.console.aliyun.com/?apiKey=1#/api-key
@@ -1097,6 +1118,7 @@ TTS:
     # volume: 50  # 音量：0-100
     # rate: 1  # 语速：0.5~2
     # pitch: 1  # 语调：0.5~2
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文
   XunFeiTTS:
     # 讯飞TTS服务 官方网站：https://www.xfyun.cn/
     # 登录讯飞语音技术平台 https://console.xfyun.cn/app/myapp 创建相关应用
@@ -1118,3 +1140,4 @@ TTS:
     # volume: 50  # 音量：0-100
     # speed: 50  # 语速：0-100
     # pitch: 50  # 语调：0-100
+    # language: "中文"  # 指定输出语种,如:中文、英语、日语、韩语等,请根据所选音色支持的语言进行设置,不填则默认为中文

main/xiaozhi-server/core/connection.py

@@ -134,7 +134,6 @@ class ConnectionHandler:
         self.asr_audio = []
         self.asr_audio_queue = queue.Queue()
         self.current_speaker = None  # 存储当前说话人
-        self.current_language_tag = None  # 存储当前ASR识别的语言标签
 
         # llm相关变量
         self.dialogue = Dialogue()

main/xiaozhi-server/core/handle/receiveAudioHandle.py

@@ -67,11 +67,6 @@ async def startToChat(conn: "ConnectionHandler", text):
         conn.current_speaker = speaker_name
     else:
         conn.current_speaker = None
-    # 保存语种信息到连接对象
-    if language_tag:
-        conn.current_language_tag = language_tag
-    else:
-        conn.current_language_tag = "zh"
 
     if conn.need_bind:
         await check_bind_device(conn)

main/xiaozhi-server/core/utils/prompt_manager.py

@@ -251,6 +251,15 @@ class PromptManager:
                         or ""
                     )
 
+            # 获取TTS选择的语言，默认值为中文
+            language = (
+                self.config.get("TTS", {})
+                .get(self.config.get("selected_module", {}).get("TTS", ""), {})
+                .get("language")
+                or "中文"
+            )
+            self.logger.bind(tag=TAG).debug(f"获取到选择的语言: {language}")
+
             # 替换模板变量
             template = Template(self.base_prompt_template)
             enhanced_prompt = template.render(
@@ -265,6 +274,7 @@ class PromptManager:
                 device_id=device_id,
                 client_ip=client_ip,
                 dynamic_context=self.context_data,
+                language=language,
                 *args,
                 **kwargs,
             )