基于端侧大模型的多模态智能体检索增强生成系统
围绕本地个人数据、多模态检索与智能体生成,建立真实记忆可被查找和追溯的技术路径。
小米创新项目 / 2024
将照片、语音、文字与设备记录整合为可交互的个人数字分身,让人能够与过去的自己对话,也为重要记忆建立可控的长期归档方式。
01 / 项目背景
照片、语音、聊天与位置共同组成生活轨迹,但数据越多,重要记忆反而越容易被淹没。人生档案希望让数据从“被储存”走向“能被重新理解”,并把隐私与控制权保留给用户。
02 / 产品概念
系统从用户主动授权的数据中检索真实片段,通过人物、时间与事件建立记忆关系。数字分身并不追求“代替本人”,而是成为查找、回忆与整理个人经历的入口。
03 / 时空对话
04 / 技术与隐私
通过本地数据索引、RAG 检索与个人智能体生成回答;重要内容由用户决定是否进入档案、是否分享以及分享给谁。技术目标不是无限收集,而是让数据更容易查找、更可控地流动。
05 / 结果与反思
项目获得小米黑客马拉松最佳人气奖,并形成 3 项在途专利。后续仍需继续验证错误记忆、数据继承与长期维护问题,确保系统不会替用户重写过去。
项目成果 / INTELLECTUAL PROPERTY
围绕本地个人数据、多模态检索与智能体生成,建立真实记忆可被查找和追溯的技术路径。
从个人内容与情绪表达中建立多模态映射,让生成结果保留更明确的个人语境。
另一项相关方案正在申请流程中。