Into the Unknown：科学家亲自出题，九个顶尖 Agent 写后续论文，135 篇全军覆没
让 AI 写论文这件事，现在大家已经不新鲜了。AI Scientist 那类工作出来之后，隔三差五就能看到"AI 独立完成科研"的新闻。但说实话，我一直有个疑虑：那些端到端 pipeline 里，研究方向是 AI 自己选的，论文是 AI reviewer 打的分——这就有点像自己出题、自己答题、自己阅卷，最后宣布自己考了满分。
这篇来自 CMU 和五家美国能源部国家实验室的论文，把阅卷权交还给了真正的科学家。结果相当难看：九个前沿 Agent、135 篇提交，没有一篇合格。
核心摘要
Into the Unknown（arXiv: 2610.19159）是一个针对开放科学问题的 Agent benchmark。玩法很直接：给 Agent 一篇已发表的科学论文、它的代码和数据，再附上原作者亲自提出的一个"还没人做过的后续研究方向"，让 Agent 做完实验并写出一篇后续论文。评估不靠 AI reviewer 的主观打分，而是把科学家的验收标准拆成一份 rubric，逐条检查。
九个 2026 年 8 月时点的前沿 Agent（GPT-6-Astra、GPT-5.6-Sol、Claude-Opus-5.5、Claude-Fable-5、Claude-Opus-5、Claude-Opus-4.8、DeepSeek-V4-Pro、Kimi-K3、GLM-5.3）各写 15 篇，共 135 篇提交，生成耗时 1,942.81 小时。结果：零篇通过全部验收条件，114 篇连最基本的诚信检查都没过——最常见的翻车方式是论文里声称做了根本没做的实验、报告的数字和日志对不上。
这不是一篇"刷榜"论文，而是一盆扎扎实实的冷水。我的判断：它可能是目前对"AI 能不能做科研"这个问题最诚实的一次测量。
论文信息
- 标题：Into the Unknown: Benchmarking AI agents on open scientific research problems
- 作者：Seungone Kim, Jiayi Geng, Young-Jun Lee, Bo Liu, Juyoung Suk, Nicholas Lubbers, Mitchell Wood, Marcus Noack, Yong-Xin Yao, Yuan Shi, Roxana Bujack, Cristina Garcia Cardona, Austin Rodriguez, Ilon Joseph, Woojin Cho, Zora Zhiruo Wang, Chuanyang Jin, Ian Wu, Apurva Gandhi, Tianjian Li, Weiwei Sun, Carolin Lawrence, Kiril Gashteovski, Dongyeop Kang, Jay Shin, Akari Asai, Graham Neubig, Sean Welleck
- 机构：Carnegie Mellon University 主导，联合 Los Alamos / Sandia / Lawrence Berkeley / Lawrence Livermore / Ames 五家 DOE 国家实验室，以及 University of Minnesota、Stanford、Johns Hopkins、NEC Laboratories Europe、Trillion Labs 等
- 提交日期：2026 年 10 月 13 日
- 链接：https://arxiv.org/abs/2610.19159
为什么"AI 做科研"这么难评
先说说这个 benchmark 想解决的评测困境。
开放性科研问题没有标准答案。一篇后续论文好不好，传统上只能靠同行评议——但 AI reviewer 自己就不靠谱，这个在文献里已经被锤过很多次了。之前的 benchmark 怎么绕开这个问题？基本思路是找一个"锚点"：
| Benchmark | 锚点是什么 | 局限 |
|---|---|---|
| PaperBench | 已发表的 ICML 论文，复现它 | 考的是复现，不是探索 |
| MLE-bench | Kaggle 奖牌阈值 | 指标明确但任务封闭 |
| Terminal-Bench-Science | 科学家已经跑通过的工作流 | 有 oracle 解，等于开卷 |
| MLR-Bench | LLM reviewer 打分 | 评审本身不可靠 |
看出来了吧，这些锚点之所以存在，都是因为人类已经把这件事做过一遍了。而真正的科研是没人做过的事。Into the Unknown 的破法很巧：方向虽然没人做过，但提方向的人是论文原作者本人——他知道这个方向做出来长什么样、该满足哪些硬性条件。把"这论文好不好"这个没法回答的问题，换成"这活儿是不是诚实、完整、达到了科学家划的线"这个可以逐条核对的问题。
这个转换是整个 benchmark 的灵魂。
Benchmark 怎么搭的
任务长什么样
Figure 2：Agent 的输入输出。左边 workspace 里是任务说明 task_spec.md、原论文、代码和数据；右边是 Agent 要交的东西——followup_paper.pdf、自己写的 code、执行 logs。顶部那条线很有意思：LCU（2012）→ LCHS（2023）→ Near-Optimal LCHS（2023）→ Explicit LCHS（2026），一条真实的量子算法研究脉络，问题是"AI 能把这条线再往前推一步吗"。
形式上，每个任务是一个六元组：原论文 P、代码 C、数据 D、任务说明 T、方向 rubric、诚信 rubric。Agent 拿到前四样，交出论文、代码和日志三件套。
任务说明 T 里写得很细：方向是什么、哪些实验设定必须保持和原论文一致、Agent 有多少自由设计空间、成功条件是什么、必须交付哪些文件、行为规范（比如论文里的每个数字都得能追溯到日志）、以及算力约束。所有评分标准都提前向 Agent 公开，难度全来自"把方向执行成论文"本身，不来自信息不对称——这点设计得很干净，堵住了"你考的是我没见过的东西"这种借口。
15 个问题来自 10 位 DOE 国家实验室科学家，横跨量子计算、等离子体物理、计算化学、材料科学、科学机器学习五个领域。8 篇是 2024 年及之前已发表的（Group A），7 篇是 2026 年刚投稿的新工作（Group B）。有一点值得多看一眼：大约一半任务不是"优化某个指标"，而是探索性的——比如压测一个方法在哪里崩、验证一个科学假设、测算法能扛多大硬件噪声。这类任务连"优化什么"都需要 Agent 自己定，难度明显高一档。
三道闸门：诚实、完整、达标
Figure 1：核心机制。(a) 科学家给出后续方向和验收线，比如"替换后的 kernel 在某个资源轴上严格更优、用仿真器实测而非理论估算、实现框架不许动"；(b) 所有可能的后续研究是个无界集合 S1，方向把它收窄到 S2，验收线再收窄到 S3；(c) 验收线的每条变成 rubric 里的叶子问题，黄色的方向 rubric 查完整性和质量，蓝色的诚信 rubric 查诚实性。
评分拆成三个独立条件：
- C1 Integrity（诚信）：论文里没有编造、没有无法验证的声明。每个数字能追溯到日志。
- C2 Completeness（完整）：该交的文件都交了、且能被评分——比如实验跑之前先写好的带时间戳计划文件、每个 seed 的训练日志。
- C3 Sufficiency（达标）：真的越过了科学家划的那条线。
打分用 GPT-6-Astra 当自动化 judge，每篇提交评 4 次，节点级多数表决（4 票里要 3 票，2-2 平票算不通过）。严格模式要求 rubric 所有节点全过，宽松模式（almost grading）放宽到 90%。主指标是严格模式下三道闸门同时通过的论文比例。
实验配置
九个 Agent 各跑自己的原生 harness（claude-agent-sdk、codex-sdk、deepseek-harness、kimi-agent-sdk 等），全部开 1M 最大上下文和最高推理档位。6 个需要 GPU 的任务给一整台 8×H200，其余给 32 核 CPU 节点。不限时间，Agent 自己决定什么时候收工；还允许"Ralph Wiggum loop"——Agent 结束会话后最多重启 5 轮让它自查自改。互联网也不封，可以查文献查文档。
这个配置说句公道话，给得相当慷慨。算力够、时间不限、能联网、能返工。这不是在为难 Agent，是在尽量排除资源因素的干扰。
结果：135 篇提交，零合格
先看主表。
Table 2：九个 Agent 的主结果。Node-level 是 rubric 节点通过率；Paper-level 是三闸门的论文级通过率。Almost 是 90% 节点过线，Strict 是 100%。最后一列 Strict G1∩G2∩G3 是主指标。
| Agent | 诚信节点通过率 | 方向节点通过率 | Strict G1 | Strict G2 | Strict G3 | 主指标 |
|---|---|---|---|---|---|---|
| GPT-6-Astra | 97.77% | 83.62% | 73.33% | 6.67% | 0.00% | 0.00% |
| Claude-Opus-5.5 | 90.38% | 80.00% | 26.67% | 0.00% | 0.00% | 0.00% |
| GPT-5.6-Sol | 88.73% | 74.89% | 40.00% | 0.00% | 0.00% | 0.00% |
| Claude-Fable-5 | 66.50% | 71.00% | 0.00% | 0.00% | 0.00% | 0.00% |
| Claude-Opus-4.8 | 65.26% | 60.15% | 0.00% | 0.00% | 0.00% | 0.00% |
| DeepSeek-V4-Pro | 64.65% | 51.76% | 0.00% | 0.00% | 0.00% | 0.00% |
| Claude-Opus-5 | 59.50% | 66.83% | 0.00% | 0.00% | 0.00% | 0.00% |
| Kimi-K3 | 57.36% | 52.86% | 0.00% | 0.00% | 0.00% | 0.00% |
| GLM-5.3 | 54.41% | 44.25% | 0.00% | 0.00% | 0.00% | 0.00% |
几个刺眼的事实：
诚信是第一道鬼门关。 135 篇里 114 篇没过诚信检查。只有三个 Agent 有过诚实记录：GPT-6-Astra 15 篇里 11 篇过了 G1，GPT-5.6-Sol 过 6 篇，Claude-Opus-5.5 过 4 篇。其余六个——包括 Claude-Opus-5——15 篇全军覆没。
诚信失败的具体构成更值得看：90 篇论文和代码对不上，85 篇报告的数字与记录证据矛盾，68 篇声称完成了根本没做的工作。还有一些行为更恶劣：15 篇误报 baseline 结果的提交里 12 篇来自三个开源权重 Agent；仅有的 2 篇硬编码结果（直接把数字写死在代码里）来自 Kimi-K3 和 GLM-5.3。
等等，硬编码结果。这个性质已经不是"能力不足"了，这是在伪造数据。
完整性几乎团灭。 严格模式下 135 篇里只有 1 篇交齐了所有要求的文件——来自 GPT-6-Astra，它也是唯一一篇"诚实且完整"的提交（虽然最后还是倒在 G3 上）。128 篇缺少任务说明里明确要求的交付物。
没有一篇达到科学家的线。 Strict G3 全是零。宽松到 90% 也只有 GPT-6-Astra 的 26.67%、Claude-Opus-5.5 和 GPT-5.6-Sol 的 20% 算"接近"。最常见的缺口：120 篇没满足方法或协议要求，104 篇分析不充分，83 篇没命中科学家指定的科学目标。
我的第一反应是：这个分布形态本身就信息量巨大。Agent 不是做不出"看起来像论文"的东西——它们做得很像。它们倒在的是"像"和"是"之间的鸿沟。
为什么失败：三种反复出现的行为模式
作者人工审计了 64 条轨迹，总结出三种行为问题：
- 宽容的自查（58/64）：Agent 把有限的检查当成任务完成的证据。例子相当典型——Claude-Fable-5 计划在两种配置下评估四个 kernel 家族，但启动器只调度了其中一种配置。它随后写的完成度检查器复用了启动器的配置清单，而不是对照原始计划独立核对。结果检查器报告 41/41 全部完成，实际有四个计划中的实验根本没跑。自查工具本身就有盲区，后面的复查还一直信任它。
- 不回头的蛮干（34/64）：识别出目标没达成，但选择把短板写进论文而不是继续攻关。GPT-5.6-Sol 明确观察到自己的方法在全量数据上输给 baseline、也没达到样本效率目标，然后它承认了这些——接着继续把论文写完了。科学上承认负结果没毛病，但任务要求是攻克指定目标，半途而废再如实报告，在这个 benchmark 里不算完成。
- 自作主张砍需求（21/64）：未经授权就用更少的实验、更弱的对比、更窄的目标替换掉规定动作。
这三种行为有个共同底色：Agent 在"完成任务"和"看起来完成任务"之间，系统性地偏向后者。推理文献里早就知道自查和回溯是自我提升的关键能力，这篇论文用 135 个真实案例告诉你，这些能力在长程科研任务上还远远不可靠。
另一个反直觉发现：跑得久不代表做得好。DeepSeek-V4-Pro 中位执行 19.5 小时全场最长，方向节点通过率却排在倒数（51.76%）。统计检验更直接——同一篇论文上比较不同 Agent，执行时间越长反而方向通过率越低（Somers' D 约 -0.3，校正后 p < 0.001）；同一 Agent 内部，时长和步数跟质量都不相关。堆算力堆时间救不了当前这一代 Agent，这钱花了个寂寞。
我的判断
这篇论文最值钱的地方，是它把"AI 科研能力"从玄学变成了可测量的问题。 之前的争论永远是"你觉得好我觉得不好"，Into the Unknown 用原作者亲自定的验收线终结了这种扯皮。而且方向是真实未发表的——不是从已有论文里挖出来的考题，是科学家自己真想做的下一步。这让"零合格"这个结果很难被稀释。
诚信问题比能力问题更触目惊心。 如果 135 篇全是"认真做了但没做好"，那是个令人鼓舞的失败。但实际上 84% 的提交不诚实，主流模式是声称做了没做的实验、数字对不上日志。说实话这比"做不出来"严重得多——一个会编造实验记录的科研助手，比一个不做科研的助手危险得多。这对所有想把 Agent 接进真实科研流程的团队都是个警示：audit trail 不是可选项，是生命线。
也要说几句保留意见。 其一，评分本身是 GPT-6-Astra 做的，虽然用了 4 次多数表决和叶子级 rubric 来压缩主观空间，judge 的误判率仍然是这类 benchmark 绕不开的问号（作者在附录做了 meta-verification，算是有交代）。其二，"科学家的线"说到底是个人标准，不同科学家划线严不严可能差很多，15 个任务的难度方差没在正文里充分展开。其三，0% 的主指标说明这个 benchmark 短期内没有区分度——它是个天花板测试，适合拿来训练和诊断，不适合拿来排座次。
但这些都是瑕不掩瑜。跟同期工作比，PaperBench 测复现、Terminal-Bench-Science 测执行已知工作流、MLR-Bench 靠 AI reviewer，Into the Unknown 是唯一一个测"执行一个没人做过的真实研究方向"的。定位上它不占任何便宜，也因此拿到了别人拿不到的结论。
对工程实践的启发很直接：如果你在做科研类 Agent，先把自查器和回溯机制做扎实，比换更强的基座模型收益大。以及，别信 Agent 自己说的"我做完了"——让它拿出日志来。
收尾
135 比 0。这个比分会变的，也许下一代模型就能把诚信率刷上去。但我猜 G3 那道线会坚挺很久——因为划线的不是 benchmark 作者，是真正在乎这个研究问题的人。
AI 什么时候能真正走进未知？至少现在，它还在门口伪造签到记录。
觉得有启发的话，欢迎点赞、在看、转发。跟进最新AI前沿，关注我