diff --git a/docs/powermem-integration.md b/docs/powermem-integration.md index 5b194106..86e47925 100644 --- a/docs/powermem-integration.md +++ b/docs/powermem-integration.md @@ -46,49 +46,58 @@ selected_module: Memory: powermem: type: powermem - # 是否启用用户画像功能（需要OceanBase） - enable_user_profile: false - # 数据库提供者: oceanbase(推荐,最佳性能), seekdb, postgres, sqlite(轻量备选) - database_provider: sqlite # 资源充足时建议使用 oceanbase 或 seekdb - # LLM提供者: qwen(默认), openai, 等 - llm_provider: qwen - # 嵌入模型提供者: qwen(默认), openai, 等 - embedding_provider: qwen - # LLM配置 - llm_api_key: 你的LLM API密钥 - llm_model: qwen-plus - # 嵌入模型配置 - embedding_api_key: 你的嵌入模型API密钥 - embedding_model: text-embedding-v4 - # 可选：自定义嵌入服务地址（OpenAI兼容模式） - # embedding_openai_base_url: https://dashscope.aliyuncs.com/compatible-mode/v1 + # 是否启用用户画像功能 + # 用户画像支持: oceanbase、seekdb、sqlite (powermem 0.3.0+) + enable_user_profile: true + + # ========== LLM 配置 ========== + llm: + provider: openai # 可选: qwen, openai, zhipu 等 + config: + api_key: 你的LLM API密钥 + model: qwen-plus + # openai_base_url: https://api.openai.com/v1 # 可选，自定义服务地址 + + # ========== Embedding 配置 ========== + embedder: + provider: openai # 可选: qwen, openai 等 + config: + api_key: 你的嵌入模型API密钥 + model: text-embedding-v4 + openai_base_url: https://dashscope.aliyuncs.com/compatible-mode/v1 + + # ========== Database 配置 ========== + vector_store: + provider: sqlite # 可选: oceanbase(推荐), seekdb(推荐), postgres, sqlite(轻量) + config: {} # SQLite 无需额外配置 ``` ### 配置参数详解 -| 参数 | 说明 | 默认值 | 可选值 | -|------|------|--------|--------| -| `enable_user_profile` | 启用用户画像模式 | `false` | `true`(需OceanBase), `false` | -| `database_provider` | 存储后端类型 | `sqlite` | `oceanbase`(推荐), `seekdb`, `postgres`, `sqlite`(轻量) | -| `llm_provider` | LLM 提供商 | `qwen` | `qwen`, `zhipu`(免费), `openai`, 等 | -| `embedding_provider` | 嵌入模型提供商 | `qwen` | `qwen`, `zhipu`, `openai`, 等 | -| `llm_api_key` | LLM API 密钥 | - | - | -| `llm_model` | LLM 模型名称 | - | 根据提供商选择 | -| `llm_base_url` | LLM API 地址（可选） | - | 根据provider自动选择参数名 | -| `embedding_api_key` | 嵌入模型 API 密钥 | - | - | -| `embedding_model` | 嵌入模型名称 | - | 根据提供商选择 | -| `embedding_base_url` | 嵌入模型 API 地址（可选） | - | 通用配置，根据provider自动选择 | -| `embedding_openai_base_url` | OpenAI兼容的嵌入服务地址（可选） | - | 优先级高于 embedding_base_url | -| `embedding_dashscope_base_url` | 阿里云灵积嵌入服务地址（可选） | - | 优先级高于 embedding_base_url | +#### LLM 配置 -#### Base URL 配置优先级 +| 参数 | 说明 | 可选值 | +|------|------|--------| +| `llm.provider` | LLM 提供商 | `qwen`, `openai`, `zhipu` 等 | +| `llm.config.api_key` | API 密钥 | - | +| `llm.config.model` | 模型名称 | 根据提供商选择 | +| `llm.config.openai_base_url` | 自定义服务地址（可选） | - | -| 配置项 | 优先级 | 适用 Provider | -|--------|--------|---------------| -| `embedding_openai_base_url` | 最高 | openai | -| `embedding_dashscope_base_url` | 最高 | qwen | -| `embedding_base_url` | 中 | 通用，根据 provider 自动选择 | -| 默认值 | 最低 | 使用 provider 的默认服务地址 | +#### Embedding 配置 + +| 参数 | 说明 | 可选值 | +|------|------|--------| +| `embedder.provider` | 嵌入模型提供商 | `qwen`, `openai` 等 | +| `embedder.config.api_key` | API 密钥 | - | +| `embedder.config.model` | 模型名称 | 根据提供商选择 | +| `embedder.config.openai_base_url` | 自定义服务地址（可选） | - | + +#### Database 配置 + +| 参数 | 说明 | 可选值 | +|------|------|--------| +| `vector_store.provider` | 存储后端类型 | `oceanbase`(推荐), `seekdb`(推荐), `postgres`, `sqlite`(轻量) | +| `vector_store.config` | 数据库连接配置 | 根据 provider 设置 | ### 记忆模式说明 @@ -97,7 +106,9 @@ PowerMem 支持两种记忆模式： | 模式 | 配置 | 功能 | 存储要求 | |------|------|------|----------| | **普通记忆** | `enable_user_profile: false` | 对话记忆存储与检索 | 支持所有数据库 | -| **用户画像** | `enable_user_profile: true` | 记忆 + 自动提取用户画像 | 仅支持 OceanBase | +| **用户画像** | `enable_user_profile: true` | 记忆 + 自动提取用户画像 | oceanbase、seekdb、sqlite | + +> 📌 **版本说明**：PowerMem 0.3.0+ 版本，用户画像功能支持 OceanBase、SeekDB、SQLite 三种存储后端。 ### 使用通义千问（推荐） @@ -109,15 +120,21 @@ PowerMem 支持两种记忆模式： Memory: powermem: type: powermem - database_provider: sqlite - llm_provider: qwen - embedding_provider: qwen - llm_api_key: sk-xxxxxxxxxxxxxxxx - llm_model: qwen-plus - embedding_api_key: sk-xxxxxxxxxxxxxxxx - embedding_model: text-embedding-v4 - # 可选：使用 OpenAI 兼容模式的服务地址 - embedding_openai_base_url: https://dashscope.aliyuncs.com/compatible-mode/v1 + enable_user_profile: true + llm: + provider: qwen + config: + api_key: sk-xxxxxxxxxxxxxxxx + model: qwen-plus + embedder: + provider: openai + config: + api_key: sk-xxxxxxxxxxxxxxxx + model: text-embedding-v4 + openai_base_url: https://dashscope.aliyuncs.com/compatible-mode/v1 + vector_store: + provider: sqlite + config: {} ``` ### 使用智谱免费 LLM（完全免费方案） @@ -132,15 +149,22 @@ Memory: Memory: powermem: type: powermem - database_provider: sqlite - llm_provider: openai # 使用 openai 兼容模式 - embedding_provider: openai # 使用 openai 兼容模式 - llm_api_key: xxxxxxxxxxxxxxxx.xxxxxxxxxxxxxxxx - llm_model: glm-4-flash - llm_base_url: https://open.bigmodel.cn/api/paas/v4/ - embedding_api_key: xxxxxxxxxxxxxxxx.xxxxxxxxxxxxxxxx - embedding_model: embedding-3 - embedding_openai_base_url: https://open.bigmodel.cn/api/paas/v4/ + enable_user_profile: true + llm: + provider: openai # 使用 openai 兼容模式 + config: + api_key: xxxxxxxxxxxxxxxx.xxxxxxxxxxxxxxxx + model: glm-4-flash + openai_base_url: https://open.bigmodel.cn/api/paas/v4/ + embedder: + provider: openai + config: + api_key: xxxxxxxxxxxxxxxx.xxxxxxxxxxxxxxxx + model: embedding-3 + openai_base_url: https://open.bigmodel.cn/api/paas/v4/ + vector_store: + provider: sqlite + config: {} ``` ### 使用 OpenAI @@ -149,15 +173,22 @@ Memory: Memory: powermem: type: powermem - database_provider: sqlite - llm_provider: openai - embedding_provider: openai - llm_api_key: sk-xxxxxxxxxxxxxxxx - llm_model: gpt-4o-mini - llm_base_url: https://api.openai.com/v1 - embedding_api_key: sk-xxxxxxxxxxxxxxxx - embedding_model: text-embedding-3-small - embedding_openai_base_url: https://api.openai.com/v1 + enable_user_profile: true + llm: + provider: openai + config: + api_key: sk-xxxxxxxxxxxxxxxx + model: gpt-4o-mini + openai_base_url: https://api.openai.com/v1 + embedder: + provider: openai + config: + api_key: sk-xxxxxxxxxxxxxxxx + model: text-embedding-3-small + openai_base_url: https://api.openai.com/v1 + vector_store: + provider: sqlite + config: {} ``` ### 使用 OceanBase（最佳性能方案） @@ -173,15 +204,18 @@ OceanBase 是 PowerMem 的最佳搭档，可实现最大性能释放： Memory: powermem: type: powermem - database_provider: oceanbase - llm_provider: qwen - embedding_provider: qwen - llm_api_key: sk-xxxxxxxxxxxxxxxx - llm_model: qwen-plus - embedding_api_key: sk-xxxxxxxxxxxxxxxx - embedding_model: text-embedding-v4 - embedding_openai_base_url: https://dashscope.aliyuncs.com/compatible-mode/v1 - # OceanBase 数据库连接配置 + enable_user_profile: true + llm: + provider: qwen + config: + api_key: sk-xxxxxxxxxxxxxxxx + model: qwen-plus + embedder: + provider: openai + config: + api_key: sk-xxxxxxxxxxxxxxxx + model: text-embedding-v4 + openai_base_url: https://dashscope.aliyuncs.com/compatible-mode/v1 vector_store: provider: oceanbase config: @@ -189,36 +223,9 @@ Memory: port: 2881 user: root@test password: your_password - database: powermem -``` - - -### 高级配置 - -如果需要更精细的控制，可以使用完整的配置结构： - -```yaml -Memory: - powermem: - type: powermem - # 向量存储配置 - vector_store: - provider: sqlite - config: - path: ./data/powermem.db - # LLM 配置 - llm: - provider: qwen - config: - api_key: sk-xxxxxxxxxxxxxxxx - model: qwen-plus - # 嵌入模型配置 - embedder: - provider: openai # 使用 OpenAI 兼容模式 - config: - api_key: sk-xxxxxxxxxxxxxxxx - model: text-embedding-v4 - openai_base_url: https://dashscope.aliyuncs.com/compatible-mode/v1 + db_name: powermem + collection_name: memories # 默认值 + embedding_model_dims: 1536 # 嵌入向量维度，必需参数 ``` ## 设备记忆隔离 @@ -233,6 +240,8 @@ PowerMem 会自动使用设备 ID（`device_id`）作为 `user_id` 进行记忆 PowerMem 提供 `UserMemory` 类，可自动从对话中提取用户画像信息。 +> 📌 **版本说明**：PowerMem 0.3.0+ 版本，用户画像功能支持 OceanBase、SeekDB、SQLite 三种存储后端。 + ### 启用用户画像 在配置中设置 `enable_user_profile: true` 即可启用： @@ -242,23 +251,20 @@ Memory: powermem: type: powermem enable_user_profile: true # 启用用户画像 - database_provider: oceanbase # 必须使用 OceanBase - llm_provider: qwen - embedding_provider: qwen - llm_api_key: sk-xxxxxxxxxxxxxxxx - llm_model: qwen-plus - embedding_api_key: sk-xxxxxxxxxxxxxxxx - embedding_model: text-embedding-v4 - embedding_openai_base_url: https://dashscope.aliyuncs.com/compatible-mode/v1 - # OceanBase 数据库连接配置 - vector_store: - provider: oceanbase + llm: + provider: qwen config: - host: 127.0.0.1 - port: 2881 - user: root@test - password: your_password - database: powermem + api_key: sk-xxxxxxxxxxxxxxxx + model: qwen-plus + embedder: + provider: openai + config: + api_key: sk-xxxxxxxxxxxxxxxx + model: text-embedding-v4 + openai_base_url: https://dashscope.aliyuncs.com/compatible-mode/v1 + vector_store: + provider: sqlite # 用户画像支持: oceanbase、seekdb、sqlite + config: {} ``` ### 用户画像能力 @@ -276,7 +282,7 @@ Memory: 1. **用户画像**：用户的基本信息、兴趣爱好等 2. **相关记忆**：与当前对话相关的历史记忆 -> ⚠️ **注意**：`UserMemory` 功能需要 OceanBase 作为存储后端，其他数据库暂不支持。 +> ✅ **版本说明**：PowerMem 0.3.0+ 版本，用户画像功能支持 OceanBase、SeekDB、SQLite 三种存储后端。 ## 与其他记忆组件的对比 diff --git a/main/xiaozhi-server/config.yaml b/main/xiaozhi-server/config.yaml index 324fb972..09e4bd8c 100644 --- a/main/xiaozhi-server/config.yaml +++ b/main/xiaozhi-server/config.yaml @@ -284,32 +284,46 @@ Memory: # 官网: https://www.powermem.ai/ # 使用示例: https://github.com/oceanbase/powermem/tree/main/examples type: powermem - # 是否启用用户画像功能（需要OceanBase作为存储后端） - # - false: 使用普通记忆模式(AsyncMemory)，支持所有数据库 - # - true: 使用用户画像模式(UserMemory)，自动提取用户信息，仅支持OceanBase - enable_user_profile: false - # 数据库提供者: oceanbase(推荐,最佳性能), seekdb(推荐,AI应用存储一体), postgres, sqlite(轻量备选) - # 资源充足时建议使用 oceanbase 或 seekdb - # 注意：用户画像功能(enable_user_profile: true)仅支持oceanbase - database_provider: sqlite - # LLM提供者: qwen(默认), zhipu(免费glm-4-flash), openai, 等 - llm_provider: qwen - # 嵌入模型提供者: qwen(默认), zhipu, openai, 等 - embedding_provider: qwen - # LLM配置 (使用通义千问为例) + # 是否启用用户画像功能 + # - false: 使用普通记忆模式(AsyncMemory) + # - true: 使用用户画像模式(UserMemory)，自动提取用户信息 + # 用户画像功能支持: oceanbase、seekdb、sqlite (powermem 0.3.0+) + enable_user_profile: true + + # ========== LLM 配置 ========== # 通义千问: https://bailian.console.aliyun.com/?apiKey=1#/api-key # 智谱AI(免费): https://bigmodel.cn/usercenter/proj-mgmt/apikeys - llm_api_key: 你的LLM API密钥 - llm_model: qwen-plus - # llm_base_url: https://dashscope.aliyuncs.com/api/v1 # 可选，自定义LLM服务地址 - # 嵌入模型配置 (使用通义千问为例) - embedding_api_key: 你的嵌入模型API密钥 - embedding_model: text-embedding-v4 - embedding_openai_base_url: https://dashscope.aliyuncs.com/compatible-mode/v1 # OpenAI兼容的嵌入服务地址 - # embedding_base_url: https://dashscope.aliyuncs.com/api/v1 # 可选，自定义嵌入模型服务地址 - # 或使用独立的base_url配置（优先级更高）: - # embedding_openai_base_url: https://api.openai.com/v1 # OpenAI兼容的嵌入服务地址 - # embedding_dashscope_base_url: https://dashscope.aliyuncs.com/api/v1 # 阿里云灵积嵌入服务地址 + llm: + provider: openai # 可选: qwen, openai, zhipu 等 + config: + api_key: 你的LLM API密钥 + model: qwen-plus + # openai_base_url: https://api.openai.com/v1 # 可选，自定义服务地址 + + # ========== Embedding 配置 ========== + embedder: + provider: openai # 可选: qwen, openai 等 + config: + api_key: 你的嵌入模型API密钥 + model: text-embedding-v4 + openai_base_url: https://dashscope.aliyuncs.com/compatible-mode/v1 + + # ========== Database 配置 ========== + # oceanbase(推荐,最佳性能), seekdb(推荐,AI应用存储一体), postgres, sqlite(轻量备选) + # 用户画像功能支持: oceanbase、seekdb、sqlite + vector_store: + provider: sqlite + config: {} # SQLite 无需额外配置 + # OceanBase 配置示例: + # provider: oceanbase + # config: + # host: 127.0.0.1 + # port: 2881 + # user: root@test + # password: your_password + # db_name: powermem + # collection_name: memories # 默认值 + # embedding_model_dims: 1536 # 嵌入向量维度，必需参数 nomem: # 不想使用记忆功能，可以使用nomem type: nomem diff --git a/main/xiaozhi-server/core/providers/memory/powermem/powermem.py b/main/xiaozhi-server/core/providers/memory/powermem/powermem.py index fc883c68..76f84bb7 100644 --- a/main/xiaozhi-server/core/providers/memory/powermem/powermem.py +++ b/main/xiaozhi-server/core/providers/memory/powermem/powermem.py @@ -10,6 +10,7 @@ @Author: wayyoungboy """ +import asyncio import traceback from typing import Optional, Dict, Any @@ -40,6 +41,7 @@ class MemoryProvider(MemoryProviderBase): self.use_powermem = False self.memory_client = None self.enable_user_profile = False + self.last_profile_content = "" # Cache for user profile from UserMemory try: # Check if user profile mode is enabled @@ -50,14 +52,6 @@ class MemoryProvider(MemoryProviderBase): llm_provider = config.get("llm_provider", "qwen") embedding_provider = config.get("embedding_provider", "qwen") - # UserMemory requires OceanBase - if self.enable_user_profile and database_provider not in ["oceanbase"]: - logger.bind(tag=TAG).warning( - f"UserMemory requires OceanBase as storage backend, but got {database_provider}. " - "Falling back to AsyncMemory mode." - ) - self.enable_user_profile = False - # Build powermem configuration dict # PowerMem supports two config styles: # 1. powermem style: database, llm, embedding @@ -183,12 +177,22 @@ class MemoryProvider(MemoryProviderBase): ] # Add memory using PowerMem SDK - result = await self.memory_client.add( + result = self.memory_client.add( messages=messages, user_id=self.role_id ) + # Handle both sync and async returns + if asyncio.iscoroutine(result): + result = await result logger.bind(tag=TAG).debug(f"Save memory result: {result}") + + # Cache user profile if UserMemory mode and profile was extracted + if self.enable_user_profile and result: + if result.get('profile_extracted'): + self.last_profile_content = result.get('profile_content', '') + logger.bind(tag=TAG).debug(f"User profile extracted: {self.last_profile_content}") + return result except Exception as e: @@ -282,6 +286,9 @@ class MemoryProvider(MemoryProviderBase): async def get_user_profile(self) -> str: """ Get user profile from PowerMem (only available in UserMemory mode). + + In PowerMem 0.3.0+, user profile is automatically extracted during add() + and cached in last_profile_content. Returns: Formatted user profile string or empty string if not available @@ -293,26 +300,9 @@ class MemoryProvider(MemoryProviderBase): logger.bind(tag=TAG).debug("User profile mode is not enabled") return "" - try: - if not getattr(self, "role_id", None): - return "" + # Return cached profile content from last add() operation + if self.last_profile_content: + return self.last_profile_content - # Get user profile using UserMemory SDK - profile = await self.memory_client.get_profile(user_id=self.role_id) - - if not profile: - return "" - - # Format profile as readable string - profile_parts = [] - for key, value in profile.items(): - if value: - profile_parts.append(f"- {key}: {value}") - - return "\n".join(profile_parts) - - except Exception as e: - logger.bind(tag=TAG).error(f"Error getting user profile: {str(e)}") - logger.bind(tag=TAG).debug(f"Detailed error: {traceback.format_exc()}") - return "" + return "" diff --git a/main/xiaozhi-server/requirements.txt b/main/xiaozhi-server/requirements.txt index 20167f39..b343742a 100644 --- a/main/xiaozhi-server/requirements.txt +++ b/main/xiaozhi-server/requirements.txt @@ -23,7 +23,7 @@ loguru==0.7.3 requests==2.32.5 cozepy==0.20.0 mem0ai==1.0.0 -powermem>=0.2.1 +powermem>=0.3.0 bs4==0.0.2 modelscope==1.32.0 sherpa_onnx==1.12.17