记忆不是存下来就完事：一篇 297 个架构的大综述，把多模态 Agent 的记忆拆成了两条轴

你有没有这种感觉——现在的多模态 Agent 演示视频一个比一个炫，但你真把它部署到家里、手机上跑一个月，它就开始犯一些很低级的错：昨天你明明把杯子挪到了下层，它还坚持去上层找；上周纠正过一次的称呼，这周又忘了。

问题出在哪？不是模型不够大，是记忆机制太糙。文本时代的记忆方案——存对话、写摘要、做 RAG——到了图像、视频、GUI、机器人这些场景里，突然就不够用了：一张图存不存原图？视频流怎么切片？改了的记忆还算不算数？

上周挂出来的一篇新综述（arXiv 2610.19366）让我挺意外的。它没有提出什么新方法，而是干了一件更费力的事：把 297 个记忆架构 和 82 个 benchmark 全部梳理了一遍，然后用一个干净的双轴框架把整个领域重新组织起来。说实话，综述论文我一般不太爱看，大多是文献堆砌。但这篇的框架确实切中了我之前做 Agent 项目时的真实困惑——记忆系统到底该在哪一层"动"。

核心摘要：这篇综述提出用两条轴来分析多模态智能体记忆——轴一是"形成与表征"（记忆以什么形式存下来：原始感知证据、文本/结构化记录、还是潜空间/参数化状态），轴二是"记忆管理"（记忆在使用中变不变：T1 静态复用、T2 固定策略更新、T3 策略自我进化）。基于 297 个架构的统计给出了几个硬数据：74.4% 的架构会在运行时更新记忆，但会进化"管理策略本身"的 T3 架构只有 17 个，占 5.7%，而且全部依赖显式表征。我的判断：这不是一篇教你造轮子的论文，而是一张帮你定位轮子的地图——如果你在做 Agent 记忆相关的工程或研究，这张地图值得存一份。

论文信息

  • 标题：Seeing, Maintaining, and Learning: The Evolution of Multimodal Agent Memory
  • 作者：Minghao Guo、Qingyue Jiao、Xiujin Liu 等 80 位作者（署名阵容包括 Jiaxuan You、Julian McAuley、Mengdi Wang、Jiawei Han、Philip S. Yu 等，多所机构联合团队）
  • 链接：https://arxiv.org/abs/2610.19366
  • 提交时间：2026 年 10 月 14 日
  • 领域：cs.AI / cs.CL / cs.RO

🎯 问题动机：多模态把记忆问题"变难"了，而不只是"变大"了

文本 Agent 的记忆方案这几年已经很成熟了：MemGPT 把工作记忆、回忆记忆、归档记忆分层管理；Generative Agents 把观察流提炼成高层反思；MemoryBank 做用户建模加遗忘；Reflexion 把反馈存成可复用的语言教训；Voyager 把可执行程序存成技能库。这些设计说到底都在回答一个问题——什么东西该留下来，怎么留。

但到了多模态，问题的性质变了。论文里有一句话我觉得点得很准：多模态带来的不只是经验"数量"的增长，而是"必须记住什么"这件事本身的改变。

想想看：

  • 图像里的空间细节，一句 caption 根本装不下；
  • 视频和音频是连续展开的，必须先切片才能存；
  • GUI 的截图绑定了可操作的屏幕坐标，抽象成文字就丢了可操作性；
  • 机器人的具身经验要跨视角、跨物体身份、跨位置关联。

存原始感知数据？存储和检索成本爆炸。翻译成文字？压缩时丢掉的信息，后面想验证都没处找。这个"保真度 vs 可用性"的拉扯，是多模态记忆特有的，文本时代几乎不存在。

所以作者把记忆拆成一个两阶段的生命周期：形成（formation，决定留下什么、以什么表征留下）和管理（management，决定留下的东西怎么被更新、访问、遗忘）。这两个阶段是耦合的——形成时丢掉的证据，管理阶段再怎么努力也找不回来。

🧠 核心框架：两条轴，把 297 个架构装进一张图

图1：多模态智能体记忆的两条互补轴

图1：双轴框架总览。轴一（Formation & Representation）按"供给下游计算的记忆表征"分类，横跨图像、视频、GUI、具身四种模态；轴二（Memory Management）按"持久化变化的范围"分 T1/T2/T3 三级——从稳定复用，到有效演化状态，再到累积式改进。

这张图我建议多看两眼。它把整个领域的"自由度"压成了两个维度：

轴 回答的问题 取值
轴一：形成与表征 记忆以什么形式供给下游推理？ 源/模态特定表征、跨表征显式记忆、潜空间/参数化记忆、混合架构
轴二：记忆管理 部署时什么在变？ T1 静态（都不变）、T2 动态（记忆状态变、策略不变）、T3 自进化（策略也变）

先给一句话的通俗版本：轴一问"你把经验存成了什么"，轴二问"存完之后还会不会变、谁在决定怎么变"。

这里有个容易混淆的边界，论文处理得很干净——T2 和 T3 的区别不是"记忆变没变"，而是决定记忆怎么变的那个策略有没有变。检索 key 的更新、技能描述的修改，只要选择机制本身是稳定的，就仍然算 T2；只有当系统用部署期的反馈去持久地改写写入/维护/检索的规则时，才算 T3。这个区分后面会看到，它直接解释了一个很反直觉的统计结果。

图4：用家庭机器人例子展示记忆生命周期

图4：用家庭机器人场景串起整个生命周期——同一段经验可以形成不同表征的记忆，再分别以静态、动态、自进化三种方式管理，最后被访问并指导行动。

📦 轴一：记忆表征的三大家族，外加一个"混血儿"

图6：记忆表征分类

图6：三大家族——左侧"源与模态特定表征"（原图、截图、视频片段、RGB-D、visual token、3D 地图、体素状态），保真度高、可恢复，但存储检索贵；中间"跨表征显式记忆"（caption、事件记录、转录、workflow、场景图、时序图、状态模式），可解释、可编辑，但抽象有损；右侧"潜空间与参数化记忆"（memory token、循环状态、hidden state、KV memory、Adapter、LoRA、编辑过的权重、生成的参数），紧凑、与模型计算深度集成，但几乎不可检视。底部是混合架构：显式抽象通过链接检索连回源证据。

三大家族各自的取舍：

家族一：源与模态特定表征。直接把原始观察存下来（整图、裁剪区域、视频帧、RGB-D），或者存成模态原生的特征/token/几何状态。好处是后面想重新编码、重新验证都行；代价是存储和检索成本高，而且编码后的特征往往有损、难以解释。

家族二：跨表征显式记忆。把感知经验翻译成文本描述、结构化符号、场景图、可执行记录。可解释、可编辑、好检索——这也是为什么修订和冲突消解在这类表征上做得最顺。代价是抽象时丢掉的感知细节再也回不来。

家族三：潜空间与参数化记忆。把经验压进循环隐状态（比如 Qian et al. 2024 的 latent state）或者直接写进模型参数（adapter bank、逐视频参数、模态特定编辑）。跟推理集成最紧，但出了问题你想定位"是哪块记忆导致的"，基本没戏。

真正有意思的是混合架构。论文统计里它是最大的单一类别：297 个架构里有 139 个（46.8%） 是混合的。典型玩法是分层访问——用紧凑的语义图做常规检索，需要验证时再"回溯"打开原始图像。比如 PixelRAG 用视觉 embedding 索引截图瓦片，但供给 VLM 的是原始截图本身；ObsGraph 用房间-视角-物体三层场景图组织视觉证据，检索时按预算从粗到细逐层展开。

我的直觉跟论文一致：混合表征大概率会成为长程 Agent 的标配设计模式，原因很简单——把所有观察塞进上下文不现实，而不可逆的压缩又不可靠。但论文也提醒了一个容易被忽略的点：混合不是"多存几份"就完事，链接本身需要维护——记忆被修订、合并、删除时，抽象记录和支撑证据之间的链接必须同步更新，否则你拿到的"证据"可能指向一个已经失效的源。

🔧 轴二：T1、T2、T3——变化发生在哪一层

图7：三级记忆管理的递进

图7：三级递进的流程图。T1 静态记忆：固定记忆 M⁰ 只做查询条件化访问，推理/行动后无持久写回；T2 动态记忆：新观察经固定策略触发记忆操作，记忆状态 M 持久变化；T3 自进化记忆：被评估的经验触发策略更新（参数、规则、程序），写入、维护、检索三类策略都会变，持久变化的对象是管理策略 Π 本身。

T1 静态记忆：形成一次，反复用。适合大型静态语料、稳定知识库、预建环境地图这类"信息变化慢、会被跨任务复用"的场景。设计变量集中在索引和检索上——向量索引、层级结构、关系图、元数据感知的时空检索。问题也明显：形成时带进来的错误和遗漏，会一直被保留下去，环境变了它也不会自己跟上。

T2 动态记忆：记忆内容在固定策略下持续更新。论文把 T2 的操作归纳成五个基本动作，这个归纳我觉得挺实用的：

操作 干什么
Update 追加新观察或整合进已有记录
Consolidation 合并相关记录，把重复经验抽象成紧凑知识
Revision 纠正或替换已经过时/矛盾的信息
Reorganization 改变记录的分组、链接、索引或跨层级迁移
Forgetting 删除记录或降低其保留/检索优先级

每个操作再沿两个维度刻画：表征处理方式（单表征内局部操作 / 跨表征协调 / 跨表征投影融合）和计算机制（硬编码启发式 / prompt 驱动 LLM / 训练好的更新模块 / 固定目标下的迭代优化）。这样一来，297 个架构里五花八门的更新逻辑都能对上号。

T3 自进化记忆：记忆和策略都会从部署反馈中学习。这是最有野心也最稀缺的一层。注意它和"训练时优化一个 controller 再冻结"是两回事——冻结的 controller 在部署期仍然执行稳定策略，记忆内容再怎么变，策略本身不动。

📊 297 个架构的统计：三个值得记住的数字

综述的价值很大程度在统计。这组数据我看完愣了一下：

  • 221 个架构（74.4%） 会在运行时更新记忆状态或管理策略；
  • 其中 T2 有 204 个（68.7%），是绝对主流——稳定的更新策略可控、可预测，工程上最顺手；
  • T3 只有 17 个（5.7%）。

等等，T3 才 5.7%？现在满大街都在讲"自我进化的 Agent"，真做到策略级进化的居然这么少。

更关键的是 T3 的内部结构：17 个 T3 架构里，13 个是跨表征显式系统，另外 4 个也是带显式组件的混合系统；纯源证据保留类和纯潜空间/参数化类里，一个 T3 都没有。

这个分布在论文里被提升为一个原则性观察：部署期的策略进化几乎全部落在显式记忆工件上。原因不难想——显式的规则、技能、workflow、检索描述、程序，刚好卡在一个有用的中间地带：比原始观察紧凑、可直接编辑，又比散布在隐状态或参数里的信息可检视、可控制。你要从反馈里修订一个东西，前提是那个东西能被"指认"出来。隐状态里没有这样的单元。

说实话，这个观察对我有点触动。之前看参数化记忆（比如逐视频 LoRA）总觉得"更优雅"，但如果你关心的是 Agent 在部署中持续改进自己的记忆管理，显式工件目前几乎是唯一现实的选择。论文把这叫"语义可寻址性"（semantic addressability）——分布式表征缺的不是动态性，而是"能被管理决策单独指认、单独修订、修订后还能验证"的单元。

另外一张图也值得一看：

图10：各模态记忆架构的累积增长

图10：2023 到 2026 年各模态记忆架构的累积增长与"管理层级 × 表征家族"分布。具身和视频记忆增长最陡，图像和 GUI 跟随其后，音频/语音记忆明显稀疏；2025 年后整体进入快速增长期。

图2：多模态智能体记忆发表版图

图2：2023–2026 年代表性方法版图，按模态（图像/视频/GUI/具身）和管理层级（T1 青绿、T2 黄、T3 橙）着色。可以直观看到 2025–2026 的密度爆炸，以及 T3 色块的稀疏。

🏗️ 系统层：逻辑设计怎么落到 HBM、DRAM 和 SSD 上

这部分是我觉得这篇综述跟一般综述拉开差距的地方。大多数记忆综述停留在算法层，这篇专门用一整章讨论：逻辑上的记忆设计，在有限算力、显存、存储和通信资源下怎么跑起来。

图11：系统实现与生命周期

图11：系统视角的概念组织。控制面负责逻辑记忆与执行状态的查找、复用校验、资源感知的准入调度；跨层运行时通过物化（materialization）把记忆接到计算上、通过写回（write-back）把执行历史接回记忆；物理层级横跨加速器 HBM、主机 DRAM、本地 SSD 和远端资源；一致性与协调贯穿其中。

几个让我印象深刻的设计辨析：

逻辑生命周期 ≠ 物理生命周期。把记忆从热层迁到冷层（逻辑迁移）和把同一个 tensor 从 HBM 挪到 DRAM（物理驻留变化）是两码事；驱逐一个可重建的缓存不等于"遗忘"了底层经验。反过来说，物理缓存替换不构成 T2 的记忆状态更新，负载响应式调度也不构成 T3 的策略进化。这个区分看着学究，其实很实用——评审或设计评审时，很多"我们的记忆会进化"的说法拆穿了就是缓存淘汰。

论文还大量借用了推理服务系统的机制：vLLM 的引用计数块共享和 copy-on-write、Mooncake 对前缀依赖缓存块的驱逐保护、SGLang 的前缀复用、InferCept 对工具中断 KV 状态的处理、Manu 的时间戳日志协调、FastFill 的跨模型更新 embedding 对齐。作者的态度很克制——这些是"可迁移的运行时机制"，但光有一个缓存优化不构成记忆架构。这个边界划得干净。

🧪 评测：82 个 benchmark 的覆盖地图，和两个刺眼的空白

评测章节的组织方式我很喜欢：先定义"记忆 benchmark 到底该测什么"，再看现有 82 个 benchmark 覆盖了什么。

六个共享维度对应记忆使用的三个阶段：

维度 测什么
CE 跨模态证据 互补模态是否被联合使用
LE 长程证据 跨轮次/会话/帧的分散信息能否被取到
SC 状态变化 能否区分当前信息和过时信息
CF 冲突记忆 能否用时间/来源线索消解矛盾记录
UQ 不可回答查询 记忆不足时能不能承认不知道
MA 记忆 grounded 行动 取到的经验是否真的影响了规划或交互

在此之上，每个模态有自己的专属维度：图像测细粒度视觉保留、实体追踪、视觉状态变化；视频测时间定位、时序关系、多事件整合；音频测说话人追踪、声学线索（韵律、背景声）、修复持久性；GUI 测界面状态、动作-结果关联、跨会话复用；具身测空间记忆、部分可观察下的物体状态、任务进度。

然后看覆盖情况：

图12：共享能力维度的 benchmark 覆盖分布

图12：左侧是 82 个 benchmark 在六个共享维度上的直接/间接/未评估覆盖；右侧按模态家族拆分直接评估比例。CE 有 44 个直接覆盖，LE 有 78 个；而 CF（冲突记忆）只有 7 个直接覆盖、74 个完全没测；UQ（不可回答）只有 10 个直接覆盖。

两个刺眼的空白：

  • 冲突消解和"承认不知道"几乎没人测。CF 只有 7/82 直接覆盖，UQ 只有 10/82。可这两个能力恰恰是 T2 动态记忆在真实部署中最容易翻车的地方——记忆系统天天在更新状态，benchmark 却很少验证它更新得对不对。
  • 没有任何现有 benchmark 能直接评 T3。SC/CF 这些标签最多对应 T2 的状态维护需求，而 T3 要求"部署反馈导致管理策略的持久改进"，现有协议里根本没有对应的监督信号。

这个缺口和前面的架构统计形成了一个很讽刺的对照：**68.7% 的系统在做动态更新，5.7% 在做策略进化，而评测体系连"更新是否正确"都还没测明白。**用论文的话说，架构趋势和评测能力之间是脱节的。

⚠️ 挑战与展望：作者真正想说的都在这章

跳过那些客套的 future work，这章有几个判断我觉得很值钱：

可恢复性应该是设计目标，不是副产品。大量架构没有保留"从派生记忆回到源证据"的可用路径；少数保留了的，也往往只是因为"源没被抽象掉"，而不是派生记忆主动携带链接。作者提了个具体方向：给每条形成的记忆定义一个最小溯源包（minimal provenance bundle）——足以回答"这条记忆从哪来、怎么产生的、有什么证据支撑"。溯源不该是可选的 metadata，而是表征本身的一部分。

时间戳不等于有效期。这是最精炼的一句话批判：时间戳记录的是"观察何时发生"，不是"这个断言还能成立多久"。视觉看到杯子在上层，后来的指令说它挪走了——旧观察该删吗？不一定，它作为历史证据还有用。更有前途的做法是显式建模状态的有效性：当前、历史、被取代、不确定、并存有效，让替代决策依赖证据来源和可靠性，而不是只看谁更新。

策略进化偏科严重。现在的 T3 几乎全部集中在检索策略上，写入和维护策略的进化少得可怜。原因大概是反馈信号的差异：检索有没有帮上忙，下一步的答案/动作直接能看出来；而一次写入、合并、遗忘决策的效果，可能要很久以后才显现，信用分配难得多。

💡 我的判断

这篇综述最值钱的地方不是框架本身——双轴分类说不算石破天惊——而是统计数字背后那几个“没有”这件事：

  • 潜空间/参数化记忆里没有 T3 系统，暴露了语义可寻址性这个硬约束；
  • benchmark 里没有针对冲突消解、不可回答、策略进化的成熟协议，暴露了评测和架构的脱节；
  • 大多数系统没有设计溯源链路，暴露了"抽象即丢弃"的行业惯性。

三个"没有"，每一个都是可以立项的研究方向。

当然也有可以挑剔的地方。80 位作者的综述，覆盖面是靠人力堆出来的，分类边界（比如某些系统到底算 T2 还是 T3）多少依赖标注者的判断；而且 2026 年的新工作占比很高，这个领域半年后的分布可能就会变。另外，"记忆"的定义虽然论文里划得清楚（排除一次性推理痕迹和临时 prompt），但边界案例——比如会话内的循环状态 TRAM 那种——仍然要case by case 地看。

对工程的启发很直接：如果你在设计多模态 Agent 的记忆，先回答两个问题——你的记忆以什么表征供给下游（轴一），部署时变的是状态还是策略（轴二）。然后检查三件事：抽象记忆能不能回溯到源证据？时间戳之外有没有有效期建模？你的 benchmark 测没测冲突和弃答？这三个问题答不上来，系统大概率在真机上会翻车。

如果你也在做长程 Agent，这张地图值得收藏。T3 那 5.7% 的空白，可能就是下一波工作的位置。

参考文献

  • 论文原文：https://arxiv.org/abs/2610.19366
  • Packer et al., 2023. MemGPT: Towards LLMs as Operating Systems
  • Park et al., 2023. Generative Agents: Interactive Simulacra of Human Behavior
  • Zhong et al., 2024. MemoryBank: Enhancing Large Language Models with Long-Term Memory
  • Shinn et al., 2023. Reflexion: Language Agents with Verbal Reinforcement Learning
  • Wang et al., 2024. Voyager: An Open-Ended Embodied Agent with Large Language Models

觉得有启发的话，欢迎点赞、在看、转发。跟进最新AI前沿，关注我