AI眼镜还不配当你的"第二大脑"：一个新基准把所有多模态模型按在地上摩擦

你有没有想过这样一个场景：戴着 AI 眼镜做晚饭，一边看着锅、一边切菜、一边接电话，水龙头开着忘了关，某个零件随手一放回头就找不着。这时候如果有个助手能在你开口之前就提醒你"水龙头还开着"、并且顺手记下"扳手刚才放在地上第三个位置"——这才是智能眼镜该有的样子。

问题是，今天的多模态模型全是"考生"，不是"助理"。你给它一段视频、问一个问题，它回答。整个交互范式是 query-driven 的：没有提问，就没有任何输出。可真实的可穿戴助手必须反过来——没有人会问它任何东西，它得自己决定什么时候该记、记什么、记多久。

来自 LMU Munich、Stanford、Google 和 TUM 的团队刚刚在 arXiv 上放出一个叫 ProactEgoMem 的基准，专门测这件事。我通读了一遍，说实话，结果比我想象的还要惨：十三个模型里没有一个能同时做到"记得及时"和"记得准"。

📖 核心摘要

ProactEgoMem 测的是"主动记忆"（proactive memory）：智能体在流式第一人称视频里，无人提问的情况下，自主决定何时启动记忆工具、维护多久、何时关闭，最后还要能靠记下来的东西回答问题。基准设了两档难度——通知级（发一条及时的消息）和干预级（自己维护一套 start-maintain-stop 的工具生命周期），配三个任务（信息捕捉 IC、状态追踪 ST、位置追踪 LT）。结果是：最强的通知级 F1 只有 19.0%，最好的干预级重叠度 mIoU 只有 17.2%，实验室场景下记忆获取差距拉开到 45-52 个点。这不是模型差在哪一个能力上，是整条"主动获取记忆"的链路都还没打通。这个基准值得每一个做视频智能体的人认真看一遍。

论文信息

• 标题：ProactEgoMem: Benchmarking Proactive Memory in Streaming Egocentric Video
• 作者：Ruotong Liao, Meikel Kokowski, Xiaoxiao Sun, Yongqin Xian, Laura Bravo Sánchez, Shiye Su, Federico Tombari, Serena Yeung-Levy, Volker Tresp
• 机构：LMU Munich、Stanford University、Google、Technical University of Munich
• arXiv：2610.30089，2026 年 10 月 21 日提交
• 链接：https://arxiv.org/abs/2610.30089

🤔 问题动机：现有评测全是"事后诸葛亮"

先把这个问题讲清楚为什么值得单开一个基准。

视频理解的评测这些年已经卷出花来了：Video-MME、MLVU、EgoSchema、HourVideo……但这些全是一个模式——视频先放完，问题再进来。模型面对的是一段完整的、静态的、可以反复回看的素材。这跟可穿戴设备的真实工况完全是两回事：

1. 视频是流式的，信息一边到来一边流逝，没有"倒回去再看一遍"这回事；
2. 没有问题。用户不会问"我刚把钥匙放哪了"——他就是忘了才会想问，而那时已经晚了。助手必须在信息消失之前判断"这东西以后可能有用"，先记下来。

第 2 点是整个基准的灵魂。你可能觉得这是个简单的二分类（记/不记），但仔细想想，它至少包含三重判断：什么值得记（意图推断）、什么时候开始记（时机）、记到什么时候算完（生命周期）。任何一环出错，记下来的东西要么是垃圾，要么缺胳膊少腿。

流式视频这块其实已有不少工作：StreamingBench、OVO-Bench 是流式 QA，但问题还是在指定时间戳喂给模型；OmniMMI、ProAssist、ProactiveVideoQA 这批"主动性"基准往前走了一步，去掉显式提问，可它们只考一个"现在要不要说话"的单点决策。论文里那句话我觉得总结得很到位：这些工作都把主动性简化成了一次 respond-or-not 事件。

ProactEgoMem 的差异化在于：主动性在这里不是一个决策点，而是一段有生命周期的行为——开启工具、持续维护、适时关闭，并且记下的内容会被后续的 QA 验证。查了一下同期工作，Vinci2/EgoServe（ECCV 2026）做了持续第一人称视频上的主动服务，但它同样没有把"工具生命周期"作为评测对象。就"主动性产生记忆、记忆再被验证"这个闭环而言，这确实是第一个。

图1：论文 teaser。左侧是被动式与主动式助手的对比——"等你提问" vs "在你提问之前行动"；中间是三步工作流：持续观察第一人称视频流 → 后台共存式跟踪 → 主动干预；右侧覆盖日常生活（提醒水龙头没关）和科学实验室（记录加了 10 μL 试剂）两类场景。

🏗️ 方法框架：两级主动性 × 三个任务 × 一套工具生命周期

两级主动性：从"提醒你"到"替你干"

基准把主动性拆成两档，这个设计我很喜欢，因为它逼着模型暴露不同层面的短板：

通知级（Notification Level）：智能体推断用户意图，在合适的时机发一条消息。比如用户在超市拿起一件商品端详，助手说"I noticed a lot of nutrition information"（我注意到这个标签上有大量营养信息）。这一级考的是时机 + 语义——发早了是骚扰，发晚了没意义，说错了对象更是白搭。

干预级（Intervention Level）：这是深水区。智能体要替用户维护记忆工具的完整生命周期——用户边做饭边 multitasking，开了水龙头、开了烤箱，助手得给每个对象在后台开状态追踪器，保持监控，等它们被关掉后再停止追踪，最后汇报"追踪已完成"。这一级考的是持续的多线程后台操作，恰恰是当前 LLM 智能体最弱的能力之一。

图2：左侧是概念框架——第一人称视频流之上，通知级输出"I've noticed..."，干预级输出"I've done..."，后者还要求维护完整的 start tool → maintain → end tool 生命周期；右侧是三个任务的真实示例：LT 位置追踪（钥匙从点火开关取出后记下新位置）、IC 信息捕捉（营养标签的密集信息）、ST 状态追踪（水龙头开着没关）。

三个任务：把"环境记忆需求"落成具体题型

三个任务都围绕一个核心问题——什么东西不记下来，之后一定会后悔：

这个三分法不是拍脑袋。IC 考"一眼信息"（one glance, keep），ST 考"全程在线"（all on time），LT 考"持续注视"（watched throughout）——三种记忆需求的时间结构完全不同，对应的失败模式也不同，后面的实验会反复回到这一点。

流式协议：每一秒都要交作业

评测协议是这样的：1 FPS 采样，每一秒模型收到任务提示 + JSON 格式的上下文（当前活跃的工具实例、最近 55 条完成的历史区间或通知）+ 最近 10 帧（带帧号和时间戳），然后必须输出一个 JSON 对象——可以带 tool_calls（开启或停止工具），可以带 message（发给用户的消息），也可以两者皆空（保持沉默）。解析失败的输出一律按沉默处理。

工具接口刻意做得极简：

Recording Tool (IC):        start_recording(name, description) / stop_recording()
State Tracker (ST):         start 返回一个 id，stop 时用 id 关闭
Location Tracker (LT):      同上

API 表面就这么点东西。作者说得很直白：难度就在生命周期的维护上，接口复杂度是故意压低的。我个人很认同这个设计——把工程噪音降到最低，让"模型能不能管好一串并发的后台任务"这个问题赤裸裸地暴露出来。

评分：匈牙利匹配 + LLM 裁判

预测和真值的匹配用匈牙利算法，要求 LLM 裁判（DeepSeek-V4-Flash）判定的语义相似度超过阈值、且时间偏移落在窗口内，匹配代价为：

指标分五组：时机（Start@0.2，200 毫秒容忍度，对齐标注者的残差分歧）、绝对误差、检测（Prec/Recall/F1）、区间重叠（mIoU，干预级专属，未匹配的机会记零分）、以及 QA 准确率。

Start@0.2 这个指标我得说一句：200 毫秒的容忍窗口是真的狠。论文的理由是标注者之间的通知时点分歧残差就在这个量级，而且实时流式模型的惯例也用这个精度。但对一个每秒才看一次输入的模型来说，这意味着你几乎必须在事件发生的那一秒就触发——晚一拍就是 1 秒的误差，直接出局。这个设定公平吗？我觉得对"通知级"是公平的，因为通知本来就是轻量动作；但把它套在"干预级"上（模型得先确认事件再开工具），多少有点用百米冲刺的计时器测马拉松起跑。

🧪 数据构建：日常生活 + 实验室双赛道

ProactEgoMem 有两条平行的赛道：

• ProactEgoMem-Daily：300 个片段（来自 Ego4D 的 239 个源视频），总长 16 小时，1242 个标注事件，292 种不同物体，1000 道 QA；
• ProactEgoMem-Sci：100 个片段，总长 6.47 小时，1377 个事件，89 种物体，500 道 QA。素材来自湿实验室的 第一人称录制（FineBio、BioVL-QR）和 Ego4D 里的实验室视频，场景是"AI 共同科研助理"。

构建流水线是半自动的：原生动作标签按物体贪心配对成候选事件 + 一个 VLM（Qwen3.6-27B）对 Daily 片段做密集描述 → 标注者看完整片段修正、删除、增补事件（Sci 里的 Ego4D 片段没有原生标签，从头标）→ 生成 QA → 至少 3 个标注者审核。标注质量的数据也不错：整体边界 mIoU 0.9817，Start@2 达 0.9865，说明真值本身是稳的。

QA 的设计有讲究：IC 问题由 LLM 从人工密集标注生成、三轮人审；ST/LT 问题则主要从模板实例化——填物体、次数、时长、顺序这些槽位。三类问题风格差异挺大，比如 ST 会问"灯-水龙头-橱柜的开启顺序是什么"，LT 会问"黑钳子最后放在哪了"，都是那种"当时不记、事后必忘"的问题。

图3：左图为基准构成（按场景/赛道/任务的环形分布），中右是两条赛道各自的高频目标物体词云——Daily 赛道里 faucet、hose、bottle、stove、cabinet 这类厨房和家务物品出现最多，Sci 赛道则是 tube、spatula、tube rack、mixer 这类实验室器材。物体词表的广度（292/89 种）直接决定了任务的识别难度。

还有一个值得点赞的细节：真值答案是私有的，评测走盲提交服务器，只返回分数。这个设计直接堵死了基准被爬进预训练语料的路——要知道现在很多基准发布即污染，几个月后榜单分数就通胀得没法看了。

📊 实验结果：一届没有优等生的考试

参赛选手一共 13 个，覆盖四个家族：闭源（Gemini 2.5 Flash、GPT-5.4-mini）、开源通用（Gemma4-31B、Qwen3.8-27B、Qwen3.6-27B、Qwen3.5-9B）、视频语言模型（VideoLLaMA3-7B、LLaVA-OV-1.5-8B、MiniCPM-o-4.5）、流式模型（MMDuet、VideoLLM-Online、Inkling-Small、JoyAI-VL）。所有模型用完全相同的流式协议跑。

先给三个最有代表性的数字：

• 最好的通知级 F1 只有 19.0 个百分点（Qwen3.6-27B，ST 任务）
• 最好的干预级 mIoU 只有 17.2 个百分点（Gemma4-31B，ST 任务）
• 最强的严格时机得分 Start@0.2 只有 28.8 个百分点（VideoLLaMA3-7B，LT 任务）

这三个数字分别属于三个不同的模型、三个不同的任务。没有一个模型能全面领先，这是这张成绩单最扎心的地方——覆盖度和精准度在所有模型身上都不重合。要么记得多但错得也多，要么时机准但啥也没记。

把主表里几个关键位置的数据拎出来看（Daily 赛道，通知级 / 干预级）：

几个结构性发现值得展开：

发现一：干预级全面难于通知级。 这不奇怪，但难的方式很有信息量。通知级只需要"在对的瞬间做对一件事"，干预级要"开、维持、关"三步全对，mIoU 把未匹配的机会直接记零分，所以一个片段里任何一次忘记关工具，整个区间就废了。生命周期维护是当前智能体能力的明确短板。

发现二：通用 VLM 覆盖广，流式模型时机准，两派互不侵扰。 开源通用模型在两个级别的召回都更高（Qwen3.8-27B 在 IC 干预级召回能到 37.9%），而流式模型的干预级启动误差能压到 1.3 秒（通用模型是 2.5-3.1 秒）。流式原生训练带来的"反应快"是真的，但它换来的是可怜的精度——MMDuet 在 LT 通知级精度只有 4.4%，召回 16.0%。快而无用，准而迟缓，这就是现状。

发现三：真正的瓶颈在"该不该记"，不在"怎么解释"。 这是论文里我觉得最有洞察的实验设计。他们在一个纯文本裁判下检查被召回事件的解释质量：条件于自己的真阳性，模型平均有 87.8 个百分点的情况能把话说对（说对物体和结果），而且这个比例和召回率几乎不相关（Spearman r=0.23）。翻译成人话：只要模型找到了该记的东西，它基本都能说清楚；问题是它大部分时候根本找不到。 检测记忆窗口，才是整条链路的卡点。

发现四：记下来的记忆，质量也撑不起问答。 论文用三种记忆条件测 QA——无记忆（均匀采样帧）、主动记忆（模型工具调用真正留下的帧）、神谕记忆（真值事件窗口的帧）。结果：36 个有效模型-任务单元里，34 个的神谕记忆比主动记忆高出至少 20 个点。IC 的神谕上限能到 94.9%（说明问题本身可答），ST 和 LT 的神谕上限却都在 70% 以下——就算把完美答案喂到嘴边，视频 QA 模型也消化不了长视频里的时序推理。No-Memory 到 Oracle 的差距就是"主动记忆获取"的提升空间，这个空间现在大得离谱。

图4：13 个模型的启动误差箱线图（左：通知级，右：干预级），虚线为真值时刻。通知级多数模型的中位数在 0 附近，但干预级整体右移 1-2 秒、分布更散——模型普遍"后知后觉"。注意 LLaVA-OV-1.5-8B 在两级都是最差的（干预级中位数约 +4.5 秒），而 MMDuet 在干预级反而箱体极窄、非常集中，体现了流式训练对时机的打磨。

发现五：实验室场景把短板撕得更大。 从 Daily 换到 Sci，IC 的记忆获取差距（神谕 QA 减主动记忆 QA）从 27-30 个点直接翻倍到 45-52 个点；开源组的 ST 召回从 35.3% 跌到 8.9%。原因也好理解：实验室器材（试管、移液枪、离心管）识别难度远高于锅碗瓢盆，而且实验流程里状态变化更密集。反倒是 LT 在实验室更轻松——实验器材很少到处乱搬。这个对比把"主动记忆的难度是场景相关的"这件事量化得很清楚。

🔬 失败模式：三个大型翻车现场

论文的定性分析部分基本是"模型事故合集"，挑三个最典型的：

误报狂欢：Gemma4-31B 在一个片段里开了 111 个一秒时长的短追踪（真值只有 7 个事件）；MMDuet 为 2 个真值事件发射了 39 次调用，其中 29 次解析失败、10 次调用的是未知工具。这就是"用误报买覆盖"——通知级召回最高能到 79.5%，但精度只有个位数，F1 天花板锁死在 19.0%。想想真机上这意味着什么：眼镜每分钟给你弹好几次错误提醒，用户第二天就会把它扔进抽屉。

生命周期失守：VideoLLaMA3-7B 只要目标物体在画面里就每秒重开一个追踪、且从不关闭——115 个追踪里 101 个永远开着。后台记忆工具变成了内存泄漏现场。这个失败模式直指 LLM 智能体做长程并发管理的软肋：开一个工具是一步决策，管好十几个并发生命周期是完全不同的能力。

干脆不守规矩：VideoLLM-Online 全程旁白（"你打开了冰箱"），MMDuet 用自由文本描述自己的决策——两个模型都拒绝按协议输出可解析的工具调用，VideoLLM-Online 因此在所有任务的干预级拿了零分。被提示成 agent 的视频模型和被训练成 agent 的视频模型之间，隔着一条指令遵循的鸿沟。

💡 我的判断

聊聊这篇论文到底怎么样。

值得肯定的地方。问题定义是真的好。"主动性 = 记忆获取的开始"这个视角，把此前散落在 when-to-speak、streaming QA、egocentric memory 三个方向的工作串成了一个闭环，并且用"工具生命周期 + 后验 QA"把它做成了可测量的东西。双赛道设计（日常 + 实验室）和私有真值的服务器盲评，都能看出团队对"评测长期有效性"是有认真考虑的。失败模式分析也做得很扎实——87.8% 条件解释正确率那个实验，一下就把"瓶颈在检测不在解释"这个结论钉死了，这种诊断式的实验设计比单纯刷榜单有价值得多。

我有疑虑的地方。第一，闭源组派的是 Gemini 2.5 Flash 和 GPT-5.4-mini——都是各自家族的轻量款，不是旗舰。论文没有解释这个选择。用 mini 级模型代表"闭源天花板"，可能会低估闭源阵营的真实水平；当然反过来说，轻量模型才是眼镜上真正能跑的，这个选择在工程上又说得通，但论文至少该讨论一句。第二，1 FPS、10 帧窗口的协议对真实眼镜（通常 30 FPS 起）是个很粗的近似，模型每秒只有一次决策机会，Start@0.2 的 200 毫秒容忍度跟"每秒一看"的输入粒度之间存在天然的错配——我前面提过，这对通知级还算公平，对干预级是否过于苛刻，值得商榷。第三，语义匹配依赖 LLM 裁判（DeepSeek-V4-Flash），裁判自身的噪声论文没有做敏感性分析，这在 LLM-as-judge 已经被反复质疑的今天，是个不该省的实验。

对做工程的启发。如果你在做视频智能体或者 agent 记忆系统，这篇论文至少给了三条可以直接拿走的信息：一是流式原生训练确实能显著压低启动延迟（1.3s vs 2.5-3.1s），方向是对的，但它天然带误报倾向，需要单独的校准层；二是并发生命周期的维护（该关的工具要关）是比"什么时候开口"难得多的能力，任何做 agent 框架的人都该把 VideoLLaMA3 那个 101 个僵尸追踪的案例贴在墙上；三是评测你自己系统时，"No Memory / 实际记忆 / Oracle Memory"三条件对比是个极好的诊断工具，能直接量化你的记忆获取模块欠了多少分。

说到底，这个基准揭示的不是"模型记性不好"，而是主动性和记忆在当前的模型范式里根本还没被耦合起来。通知级 F1 不到 20 分的成绩单，与其说是模型的失败，不如说是给整个方向标出了起点。接下来两年，可穿戴智能体的竞争大概率就会围绕这条基准暴露出的几个坑展开——谁先把"记得及时、记得准、记得省心"三件事同时做住，谁就有资格真正住进你的眼镜里。

📚 相关工作速览

想横向对比的读者可以顺着这几条线看：流式交互基准 OmniMMI（CVPR 2025）、流式自我中心视频主动对话 ProAssist（EMNLP 2025）、主动交互评测 ProactiveVideoQA；流式情景记忆方向有 EgoStream 和 S-EMBER；第一人称视频底层数据集是 Ego4D 和 Ego-Exo4D，实验室场景来自 FineBio 和 BioVL-QR。ProactEgoMem 与它们的差异点集中在两处：query-free 的主动性 + 被后验 QA 验证的工具生命周期。

论文链接：https://arxiv.org/abs/2610.30089 项目主页与代码：见论文页 Project Page / Code / Hugging Face / Leaderboard 链接

觉得有启发的话，欢迎点赞、在看、转发。跟进最新AI前沿，关注我