m3-agent:具备长期记忆的多模态Agent框架与基准
处理实时视听输入构建长期记忆的多模态 Agent 框架,附带 M3-Bench 长视频问答基准。
M3-Agent 是一个多模态 Agent 框架,能处理实时视觉与听觉输入,构建并更新长期记忆:除情景记忆外还形成语义记忆,记忆以实体为中心的多模态图组织。给定指令后,Agent 进行多轮迭代推理并从记忆中检索相关信息完成任务。仓库同时发布 M3-Bench 长视频问答基准,含 100 个机器人第一视角实拍视频(M3-Bench-robot)和 920 个网络视频(M3-Bench-web),配有开放式问答标注。本地运行分两条流水线:Memorization 用 M3-Agent-Memorization 模型生成记忆图,Control 用 M3-Agent-Control 模型作答并由 GPT-4o 评估;也可改用 API 调用其他模型。模型权重、数据集和中间产物在 Hugging Face 提供,训练代码在单独仓库。