不再考"照着规格写代码"，这次让 AI 智能体自己当研究员：AutoWorldModel-Bench 解读

你有没有想过一个问题：现在这些编码智能体的榜单，考的到底是"研究能力"还是"执行力"？

MLE-bench、SWE-bench 这一类基准，说到底都是 engineering-to-spec——数据集给你、指标给你、改进方向也八九不离十，智能体要做的就是在一个已被人类画好圈的范围里把工程做漂亮。这跟真正的研究完全是两码事。真正的研究是：方向没人告诉你，设计空间巨大，每次实验都烧钱烧时间，你得自己提出假设、自己验证、自己决定下一步往哪走。

Electronic Arts 和 Simon Fraser University 的这篇论文（arXiv:2608.11216）做的就是把智能体扔进这样一个"真研究"场景里——让它自主改进一个世界模型，6 小时、一张 H100，能折腾出什么算什么。结果有点超出我预期：64 个 session 里 63 个都改进了基线，而且 91% 的获胜改动不是调超参，是新目标、新表示、新 rollout 流程这种研究式的修改。

核心摘要：世界模型是个还没定型的领域——架构、训练目标、状态表示怎么搭配，没人有标准答案。作者把这个"开放设计空间"改造成一个闭环基准：给前沿编码智能体一个能跑但不强的 starter 世界模型，在 8 个游戏、4 种架构、固定 6 小时计算预算下自主改进。Codex-5.4 和 Claude Opus 4.6 在 63/64 个 session 上提升了 held-out 测试分数，平均 +0.196，提升几乎全部来自长时程 rollout 而非单步拟合。这篇论文值钱的不是某个具体模型，而是它第一次把"AI 做研究"这件事做成了可控、可复现、可打分的实验。

📖 论文信息

• 标题：AutoWorldModel-Bench: A State-Centric Benchmark for Automated World-Model Research
• 作者：Marjan Moodi, Xuankang Zhu, Fernando De Mesentier Silva, Harold Chaput, Mohammad Reza Taesiri
• 机构：Electronic Arts / Simon Fraser University
• 链接：https://arxiv.org/abs/2608.11216
• 项目主页：https://electronicarts.github.io/AutoWorldModelBench/
• 提交日期：2026 年 7 月 20 日

🎯 为什么选世界模型当"研究考场"

挑世界模型当试验场，这个选择我觉得挺讲究的。

你想，一个合格的"自动化研究"考场需要满足几个条件：设计空间要足够大（不然就成了调参大赛）、决策之间的交互要复杂且没被研究透（不然智能体背论文就能赢）、实验要能快速迭代（不然 6 小时只够跑两个实验）、成功标准要客观可度量（不然没法打分）。

世界模型刚好全中。架构上有 RSSM、自回归 Transformer、扩散、MaskGIT 几大家族各立山头；训练目标有重建损失、KL 正则、对比学习一堆排列组合；状态表示更是从像素到离散 token 到结构化实体吵了很多年。最要命的是，没有任何一个配方在所有环境上通吃——这是论文开篇就点明的判断，也是整个基准成立的前提。

说实话，之前看 MLE-bench 那类榜单的时候我就有种感觉：智能体拿高分，到底说明它会研究，还是说明它把 Kaggle 金牌方案背得熟？AutoWorldModel-Bench 直接把这条路堵死了——世界模型没有现成的金牌方案可背。

🏗️ 基准设计：把"感知"摘出去，只考"动力学"

八个游戏，一套统一表示

基准包含 8 个经典街机风格的游戏环境，从网格型的 Snake 到连续物理的 Pong、Platformer，动力学特性各不相同：

图 1(a)：八个游戏环境的渲染画面——asteroids、breakout、frogger、kong、platformer、pong、racer、snake，覆盖网格动力学、连续物理、多实体交互等不同类型。

关键设计在状态表示上。作者没有让智能体从像素里学感知，而是直接把游戏引擎内部的结构化实体状态暴露出来——每个游戏状态是一个 ECS（entity-component-system）快照：实体是唯一标识的对象，组件是挂在实体上的类型化数据（Transform、Physics、Collider、Material、Gameplay 五类），每帧序列化成一个 JSON envelope。

图 1(b)：以 Snake 为例，左边是渲染帧，右边是对应的规范化 JSON 状态——蛇头、蛇身、食物各自是带 id、类型、位置的实体。感知（Parse P(x)）和渲染（Render R(s)）被明确表示为可逆映射，基准只考中间那段动力学。

这个设计的取舍很明确：把感知从问题里摘出去，让"分钟级迭代"成为可能。每个 episode 被张量化成几块——实体注册表 \(R \in \mathbb{R}^{N \times 34}\)（静态物理身份，episode 内不变）、实体状态 \(S_t \in \mathbb{R}^{N \times 23}\)（每帧动态）、7 维统一动作向量、17 维游戏级状态、终止标志。每个游戏有固定的实体槽预算 \(N\)，比如 Pong 的 \(N=5\)：两个球拍、一个球、两堵边界墙。

数据规模也不小：152,000 个 episode、超过 1.58 亿帧，用启发式策略、随机策略和 PPO/DQN 训练的 RL 策略三种方式混合采集。有个细节我觉得很关键——人工审查后发现 6 个游戏光靠启发式策略到不了后期游戏状态，又补训了 RL agent 来收集数据。这种"覆盖后期状态"的考虑，做过世界模型数据收集的人都知道有多重要：轨迹分布太窄，模型学到的是局部动力学，一开环 rollout 就崩。

四个 starter，四个架构家族

智能体拿到的不是一个模型，而是 4 个 starter（按游戏 × 架构组合成 32 个任务）：

四个 starter 都预测下一帧的实体位置、alive 状态、终止标志和游戏特定字段，共享一个 velocity consistency loss（\(\lambda=0.1\)）。这个覆盖面挺合理——连续 vs 离散、循环 vs 注意力、自回归 vs 并行解码，主流路线都摆上桌了。

🔧 闭环协议：6 小时、一张 H100、单次训练 10 分钟

这是整个基准最有"研究感"的部分。每个任务是一个自包含目录：instruction.md 写明研究目标和评分公式，train.py 是可自由修改的单文件 starter，run.py 和 score.py 只读，数据只读挂载。智能体读代码、设计改动、跑实验、看结果、再改——完整的分析-重设计-迭代循环。

图 2：闭环 harness。左边是任务目录，中间是 AI Agent → Train → Evaluate 的循环（红色虚线回环），右边是每次实验沉淀到 experiments/ 目录和 summary.tsv 的产物。基础设施基于 Harbor 容器化运行时。

预算卡得很死：单张 H100、6 小时 session、单次训练运行 10 分钟 wall-clock 上限。这个约束设计得很妙——10 分钟单次上限逼着智能体做小规模快速验证，而不是一上来就暴力训练；6 小时总量又要求它做预算分配：是广撒网试方向，还是在一个有苗头的方向上深耕？这正是真实研究里最难的决策。

评估用三种互补模式：teacher-forced 单步预测（\(h=1\)）、开环 rollout（\(h \in \{10, 20\}\)，模型吃自己的输出）、scenario 测试（每游戏的规则探针，比如球-球拍碰撞这种隔离单一机制的受控场景）。最终分数明显偏向长时程：

其中 \(composite_h = 0.9 \cdot (1 - Position\ L1_h) + 0.1 \cdot Alive\ F1_h\)。长时程权重占 0.7，意图很直白：单步拟合谁都会，真本事看你滚 20 步之后状态还准不准。test 和 scenario 两个 split 全程 held out，session 结束后才评一次——防止智能体对着测试集过拟合。

📊 实验结果：63/64，而且赢的方式很"研究"

主结果：几乎全胜，提升集中在弱 starter 上

两个前沿编码智能体——Claude Opus 4.6 和 Codex-5.4——各跑 32 个任务（8 游戏 × 4 架构），共 64 个 session。结果：63 个 session 的 held-out test 分数超过 starter，平均提升 +0.196（[0,1] 区间，中位数 +0.115）。唯一的例外是 Opus 在 Breakout/D3PM 上回退了 0.001——基本等于打平。

提升幅度和 starter 强度明显负相关。Asteroids 的 starter 平均只有 0.213，被一路拉到 0.618（+0.405）；Snake 的 Dreamer/AR-Transformer starter 只有 0.10，最高被拉到 0.83（Codex 在 Snake/AR-Transformer 上单任务 +0.74，全场最大提升）。而 starter 本来就强的任务，比如 Breakout/Dreamer 的 0.94，只能再挤出 +0.03。

部分代表性数据（完整表格 32 行，这里挑几个典型的）：

（每格两个数字分别为 Claude Opus 4.6 / Codex-5.4；starter 分数因平台非确定性按 agent 分别列出。）

有个细节让我对作者的诚实度加分：他们发现自己的共享 8-GPU 主机有平台非确定性——相同代码的 starter 重跑会得到不同结果，比如 Kong/Dreamer 两个 session 的 starter 分数分别是 0.50 和 0.78。所以 Table 2 里每个 agent 有独立的 Starter 列。这种问题很多论文会选择不说，他们专门写了附录解释。

两个智能体谁更强？统计上分不出来

32 个任务上 Codex-5.4 赢 19 个，Opus 赢 13 个；平均最佳 test 分数 0.772 vs 0.736。看着 Codex 领先，但配对 Wilcoxon 检验 W=187、p=0.15——统计上不显著。

图 3(a)：逐任务最佳 test 分数散点图，x 轴 Codex、y 轴 Claude，对角线上方 Claude 赢（13/32）、下方 Codex 赢（19/32）。点的形状颜色区分四种 starter 架构。

作者还给了一个很冷静的警示：这是 best-of-k 比较，而两个 agent 的 k 不一样——Opus 平均每 session 跑 23.5 次实验，Codex 只跑 18.2 次。"更多次尝试产生更高最大值"这个零假设同样能解释数据。不过换个角度看 token 效率就有意思了：Codex 的累积 Δ test 更高（+6.71 vs +5.85），token 用量却只有 Opus 的约 1/1.44，折算下来单位分数提升的 token 效率约为 1.8 倍。少动手、多思考，还是多动手、广撒网——两种研究风格，目前还没分出高下。

提升从哪来：几乎全在长时程 rollout

这是我觉得全文最有信息量的一张表：

单步预测上 starter 本来就强（0.808），智能体只能再挤 0.056；但滚 10 步、20 步之后 starter 掉到 0.5 量级，智能体硬是把性能拉回来 0.2 以上，几乎个个 session 都做到了。

这说明什么？智能体不是在把单步 loss 调得更低，而是真的解决了误差累积这个世界模型的核心难题——让模型在自己预测的状态上继续预测也不崩。做过 Dreamer 类工作的人知道，teacher-forcing loss 漂亮但一 rollout 就发散，是这个领域最经典的坑。智能体能系统地往这个方向改进，多少说明它们"理解"了评分公式里那 0.7 权重背后的意图。

91% 的获胜改动是研究式修改

怎么判断智能体的改动是"研究"还是"调参"？作者用 Gemini Pro 3.1 当零样本 judge，看每个实验的代码 diff，打九个标签之一：architecture、loss、rollout、inference、data_aug、hyperparam、bugfix、infra、multiple。把 hyperparam 和 infra 归为 trivial，其余算 non-trivial。

结果：58/64 个 session（91%）的获胜实验是 non-trivial——新训练目标、新表示、新 rollout 流程或架构改动。全部 1,335 个实验里，non-trivial 子集平均提升 +0.146、85% 超过 starter；trivial 子集平均 +0.126、胜率 73%。judge 还额外标出 248 个实验（18.6%）属于"非显而易见的领域特定想法"，集中在 architecture（95 个）、rollout（52 个）、inference（46 个）。

图 3(b)：Claude Opus 4.6 各类改动的 session 内分数提升分布。ARCH（架构）和 MULTI（多类组合）的中位数和右尾都很好看，INFRA 基本在零附近——管道改动不带来研究收益。

图 3(c)：Codex-5.4 的同类分布。注意 ROLL（rollout 流程改动）的绿色箱体比 Claude 宽得多，右尾一直拉到 +0.6——两个智能体的"研究口味"确实不一样。

八大单游戏最大提升里，7 个是结构性改动，唯一的例外是 Pong/MaskGIT 靠学习率和步数调度获胜。这个 91% 的数字其实回答了一个潜在的质疑：如果智能体只是把超参调好，那这个基准用随机搜索或贝叶斯优化当 baseline 就够了。但既然获胜改动落在 starter 原有超参空间之外，调参 baseline 理论上就够不到这些解。

不过说实话，用 LLM 当 judge 来给"研究式改动"分类，这个环节本身有多少水分我持保留态度。九个标签的边界（比如 loss 改动和 architecture 改动经常纠缠在一起）并不清晰，judge 的标注质量论文里没有给出人工校验的 agreement 数据——至少正文里没看到。这个 91% 当个趋势看没问题，当精确数字看要谨慎。

🔬 失败与边界

论文没有回避失败的角落。test split 上唯一回退是 Opus 的 Breakout/D3PM（-0.001，可忽略）；scenario split 上有 8 处负提升，最大的是 Snake/MaskGIT 的 -0.15——test 涨了但场景探针掉了，说明模型在某些规则机制上学歪了。这种 test 与 scenario 的背离其实是这个基准最有诊断价值的信号：轨迹统计上学得好，不等于真学会了游戏规则。

局限性作者自己列得挺坦诚，我挑两条真正要紧的。一是模型和 harness 混在一起：Codex vs Claude 的比较同时包含了模型能力和脚手架（上下文管理、工具使用、实验调度），分不清是谁的功劳。二是结构化状态是把双刃剑：绕开感知换来了分钟级迭代，但结论能不能迁移到 pixel-based 世界模型（比如 Genie 那条线）是未知数——从引擎状态学动力学和从像素学动力学，难度结构完全不同。

还有一条作者没明说但我觉得值得想的：8 个游戏、4 个 starter 的 32 个任务，设计空间说大其实也有边界。智能体是在一个被精心构造的"小宇宙"里做研究，离真正开放式的科学发现还隔着好几层抽象。

💡 我的判断

这篇论文的定位很清晰：它不产出新的世界模型 SOTA，它产出的是一个衡量"AI 能不能做研究"的标尺。

放在整个 agent 评估版图里看——MLE-bench 考工程执行、RE-bench 对照人类专家、PaperBench 考论文复现、MLR-Bench 考开放式 ML 研究——AutoWorldModel-Bench 卡住了一个独特的位置：比 engineering-to-spec 开放，比完全开放的科学发现可控。世界模型这个领域"没有主导配方"的特性，恰好让智能体没法靠背答案取胜。

最让我印象深刻的是长时程 rollout 那张表。63/64 个 session 改善了 h=20 的滚动精度，这个数字说明前沿编码智能体已经具备了一种能力：读懂评分函数背后的意图，并把实验预算压在真正的瓶颈上。这已经有点"研究直觉"的味道了。

但也要泼点冷水。best-of-k 的评估协议下，"智能体的研究能力"和"智能体的实验吞吐量"是纠缠在一起的；LLM judge 的分类没有人工校验背书；两个 agent 各跑一遍的样本量也撑不起强的统计结论。这些不妨碍基准本身成立，但拿它给具体 agent 排名次的时候，心里要有根弦。

对工程实践的启发倒是挺直接的：如果你在评估自己的编码智能体，别再只看它能不能照着 issue 修 bug 了——给它一个能跑但不强的系统、一个明确但开放的改进目标、一个卡死的预算，看它的迭代轨迹怎么爬坡。这个评估范式，比单一 pass rate 信息量大多了。另外"分钟级迭代 + held-out 评估 + 只读评分器"这套任务封装方式，值得所有想自建 agent 评测的团队抄作业。

自动化研究的下一步，大概不是让智能体在更多榜单上刷分，而是看它们能不能提出连出题人都没想到的假设。AutoWorldModel-Bench 朝这个方向迈了一步——至少在这里，91% 的获胜答案不是出题人事先写在超参空间里的。

参考文献

• AutoWorldModel-Bench: A State-Centric Benchmark for Automated World-Model Research. arXiv:2608.11216. https://arxiv.org/abs/2608.11216
• 项目主页：https://electronicarts.github.io/AutoWorldModelBench/

觉得有启发的话，欢迎点赞、在看、转发。跟进最新AI前沿，关注我