模型读懂了文献,为什么仍猜不中下一步研究?

让 AI 读一个领域截至 2025 年的论文,再让它写研究提案,它能猜中研究者在 2026 年真正做了什么吗?这个问题比“AI 能不能写出一份看起来不错的提案”难得多。提案可以语言流畅、动机合理,甚至通过专家评审,却仍然只是文献中常见元素的重新拼接。

IdeaTaste 把这场测试变成了一项可追溯的时间实验:冻结过去,生成提案,再用后来真实发表的论文检验模型与人类社会是否拥有相似的“研究品味”。结果相当冷静——模型能找到热门问题,也能覆盖常用方法,但很少走到人类最终采用的具体方案。

核心摘要

IdeaTaste 用 2025 年以前的文献快照驱动 LLM 智能体写提案,再与同一领域 2026 年真实发表的论文比较。超过 9 万份提案、6 个模型和 4 个研究领域的实验显示,模型的引用匹配平均只达到 约 26% 的人类水平,想法匹配更只有 约 18% 的人类水平。扩大提案数量、补充领域全景或让智能体互相参考都收效有限。最值钱的发现在于:瓶颈不在“选哪个方向”,而在“如何把方向变成可执行的具体方法”。这是一套设计扎实的评测框架,不是自动科研能力的全面提升方案。


论文信息

  • 标题:IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?
  • 作者:Shanshan Zhong, Chen Xu, Jingjie Ning, Zhengzhong Liu, Aviral Kumar, Chenyan Xiong
  • arXiv:2611.03424,2026 年 11 月 2 日提交
  • 论文链接:https://arxiv.org/abs/2611.03424
  • 项目与持续更新榜单:https://cxcscmu.github.io/IdeaTaste

一、研究品味不能只靠“专家觉得不错”

自动科研系统的执行链条越来越长:检索文献、提出假设、写代码、跑实验、生成论文。可只要起点是一个不值得做的方向,后面的自动化越顺畅,资源浪费反而越大。

过去常见的评估有三条路线。专家给单个想法打分,容易受写作风格影响;固定答案式基准把科研简化成重建既定目标;模型裁判预测新颖性和影响力,又会引入裁判自身的偏好。还有一类工作统计模型生成想法之间的相似度,但“种群内部不重复”并不等于“选择接近人类研究者”。

IdeaTaste 换了一个参照物:研究者后来真实发表的工作。发表不等于高质量,也不等于科学真理,但它记录了一个社区在无数可能性中实际选择了哪些问题、方法和研究计划。这个设计把“品味”从主观好恶转成可观测的时间外推。

与 arXiv:2607.01233 的 Measuring the Gap Between Human and LLM Research Ideas 相比,差异很清楚。那项工作用机会模式与研究范式分类法刻画人机想法分布,IdeaTaste 则直接拿未来论文做参照,同时评估引用、想法匹配和种群多样性。前者回答“模型偏爱哪类贡献”,后者回答“模型能否追上社区后来的实际选择”,两者是互补视角。


二、IdeaTaste:用下一年的论文检验今天的提案

图1:IdeaTaste 的整体评测流程

图 1:上半支是人类研究者从同一文献基础出发,在 2026 年发表论文;下半支是 LLM 智能体检索截至 2025 年的语料并生成提案。引用与想法分别做人机匹配,提案种群内部另算多样性,随后再由专家盲评质量。

这个时间切分很像一场“科研回放”。人类论文和 AI 提案共享截至 2025 年的文献背景,AI 不允许引用 2026 年论文,评估集则来自同一社区在 2026 年 1—8 月实际发布的工作。

数据怎么构建

每个领域先由人工挑选 20—22 篇地标论文,再沿引用关系扩展:收集截至 2025 年引用地标的工作,并加入至少被其中两篇论文共同引用的背景文献。第二步很关键,比如代码生成依赖的程序合成研究,未必会在标题里写“code generation”,仅靠关键词很容易漏掉。

2026 年参考集同时来自地标论文的后续引用和主题检索,再按预先冻结的领域定义筛选,并去掉综述、重复记录和已属于旧语料的版本。

研究领域 截至 2025 年的语料 U 2026 年人类参考集 H
机器学习系统 88,184 5,188
代码生成 94,674 3,375
世界模型 50,271 1,867
自动化研究 30,264 1,136

四个领域覆盖了成熟的大社区与仍在形成的小社区。这个跨度后来也解释了一个有趣现象:领域越大、可选择的方向越多,模型与人类的差距越明显。


三、四个指标:读什么、想什么,以及是否总在重复自己

1. Match-Cite:提案与人类论文是否在读同一批文献

每篇文档先用它引用且属于旧语料 \(U\) 的论文集合表示。人类论文 \(d_h\) 与 AI 提案 \(d_a\) 的引用集合计算 Jaccard 相似度,然后分别问两个方向的问题:

  • \(J_{A\to H}\):每份 AI 提案,最像哪篇人类论文的引用方式?
  • \(J_{H\to A}\):每篇人类论文,能否在 AI 种群中找到引用相近的提案?

只算前者会作弊。模型只要挤在文献的一个小角落,也能让每份提案都像某篇人类论文,却完全覆盖不了社区的其他方向。因此最终分数取二者的调和平均:

\[M_{\mathrm{cite}}=\frac{2J_{A\to H}J_{H\to A}}{J_{A\to H}+J_{H\to A}}\]

这个设计同时约束“像不像”和“覆盖全不全”,我觉得比单向最近邻合理得多。

2. Match-Idea:不是主题相同,而是具体想法重合多少

DeepSeek-V4-Pro 从每篇摘要中抽取固定五槽结构:贡献类型、问题、动机、拟议方法、研究计划。抽取时禁止补全摘要没说的内容,也不保留论文自造名称和实验结果,尽量让比较聚焦研究思想,而不是标题包装或数字噱头。

候选对通过 BM25 与 all-MiniLM-L6-v2 稠密检索混合召回,每篇文档只与最近的 5 篇候选比较。GPT-5.6 Luna 逐槽判断是否一致,再按该槽在人类论文之间的稀有程度加权:

\[M_{\mathrm{idea}}=\frac{1}{|H|}\sum_{d_h\in H}\frac{\sum_{i\in\mathcal I}w_i m_i(d_h,\mathcal N_A(d_h))}{W},\qquad w_i=-\log_2p_i\]

这里 \(m_i\) 表示人类论文的第 \(i\) 个槽是否被至少一份候选提案覆盖,\(p_i\) 是人类论文之间该槽出现匹配的比例。问题与动机很容易雷同,权重就低;具体方法和研究计划很少重合,一旦匹配就更有分量。

裁判也做了人工校验:40 对文档、160 个槽位判断,5 次重复运行的一致率为 77%—90%。它与人工多数标签在问题、拟议方法上的一致率都是 87.5%,在动机和研究计划上则降到 70.0% 和 72.5%。所以这套指标可用,但后两个槽的解释性更强,不能把分数当成绝对真值。

3. 两个 Diversity:种群是否既广泛又不重复

引用多样性是 \(D_{\mathrm{cite}}=Q\times S\)。\(Q\) 衡量每份提案是否读了足够多的文献,\(S\) 衡量整个种群的引用有多少是不同论文;引用数量阈值 \(\tau\) 取对应人类参考集的平均引用数,多引不会无限加分。

想法多样性则是“1 减去同类提案之间的加权槽位重复率”。一个种群可以引用非常分散,却仍然反复写出同一种方案。后面的实验恰好把这个反差暴露得很彻底。

人类分数也不是 100%。它由 2026 年论文彼此比较得到,代表一个真实社区自身的重合与多样程度,而不是理论上限。


四、同一套智能体,只改变它能看到什么

四种方法共享完全相同的智能体循环。每份提案有 20 步预算,智能体每步只能规划、搜索、固定文献、修改草稿、压缩历史或提交,引用只能来自实际检索到的旧语料。每个标准种群包含 300 份提案。

方法 提供给智能体的额外信息 要检验的问题
free 只有领域定义 不给方向时,模型自然会选择什么
topic 分配一个研究主题 明确方向能否改善人机匹配
landscape 2025 年常见任务、方法及其组合和占比 看清领域结构与拥挤程度是否有帮助
frontier 主题分配,加上前几轮其他智能体的提案与研究轨迹 模拟同行交流能否拓展种群

frontier 分两轮,每轮 150 份;后一轮能查询前轮记录,但不能引用这些未验证的同行提案。实验覆盖 Llama 4 Scout、Claude Haiku 4.5、Gemini 3.5 Flash-Lite、DeepSeek-V4-Flash、Qwen3.8-27B 和 K2 Horizon 375B A23B。

前两个模型的训练数据截止于 2026 年以前,构成无未来论文泄漏的时间对照组;后四个是 2026 年发布模型,可能接触过部分参考论文。这个分组设计很重要,否则“猜中未来”很容易变成“记住未来”。


五、主实验:引用只到人类水平的四分之一,想法更低

下表列出人类基准,以及想法匹配整体表现突出的 Llama 4 Scout 在 topic 设置下的成绩。所有数值都是百分比,不是相对提升。

领域 人类 Match-Cite Llama topic Match-Cite 人类 Match-Idea Llama topic Match-Idea
机器学习系统 20.84 3.87 13.56 4.93
代码生成 18.75 3.29 11.25 4.21
世界模型 16.38 3.42 13.87 4.42
自动化研究 18.51 5.44 10.53 3.85

把所有模型、方法和领域平均起来,AI 种群只达到人类 Match-Cite 水平的约 26%,Match-Idea 水平的约 18%。没有任何一个种群在这两项上达到人类水平的一半。自动化研究的差距最小,机器学习系统和代码生成的差距最大,说明模型在选项较少的新兴领域里更容易贴近社区,却不擅长复现大领域中复杂而分散的实际选择。

更扎眼的是多样性与匹配脱节。获得 topic 或 frontier 的方向约束后,6 个模型里有 4 个的引用多样性最高能达到人类社区的 3 倍,但没有任何种群达到人类的想法多样性。读得广,没有自动带来想得广。

增加上下文也不是解药。landscape 在 24 个 Match-Cite 设置中有 19 个垫底;topic 与 frontier 主要让种群铺得更开,却没有把想法匹配推到人类附近。坦率地讲,这个结果对“再给 Agent 一张更完整的领域地图就会选题”的直觉是个不小的打击。

未来数据泄漏也解释不了差距

两个 2025 年模型的平均 Match-Idea 原始分为 3.10,四个 2026 年模型反而只有 1.68;换算成各自的人类水平,分别约为 26% 和 14%。Match-Cite 则是后期模型略高,5.06 对 4.14。

如果看过 2026 年论文是主要优势,后一组理应更擅长想法匹配,实验却朝相反方向走。作者还把 Gemini 3.5 Flash-Lite 的参考集按其 2026 年 3 月训练数据截止点切开,结论在截止前后两片上仍一致。这里不能证明每个模型都绝无间接泄漏,但至少说明泄漏无法解释主要结果。


六、真正的断点:知道做什么,却不知道具体怎么做

方向覆盖看起来不错,组合一细就露馅

图3:自动化研究中的任务、方法与任务方法组合覆盖

图 3:在自动化研究领域、人机种群等量的条件下,topic 与 frontier 对任务和方法的覆盖接近人类;一旦看“任务—方法”组合,所有 AI 曲线都明显下落。frontier 的组合覆盖也只有人类质量分布的大约一半。

左侧的不同标签数量也很直观:人类使用 200 个任务标签、268 个方法标签和 2,871 个任务—方法组合;frontier 分别是 192、220 和 3,441。组合数量甚至比人类多,却不代表覆盖相同——右侧累计质量曲线显示,它仍错过了大量人类实际采用的组合。数量多和分布对,是两回事。

更关键的是,frontier 的组合覆盖约为 free 的两倍,Match-Idea 却只增加一点。模型已经来到同一个研究方向门口,仍然没有走进人类那套具体方案。

槽位拆解把问题钉得更死

领域与种群 问题 动机 拟议方法 研究计划
机器学习系统:Human 28.32 42.58 3.99 7.21
机器学习系统:Llama topic 10.00 20.34 0.87 0.94
机器学习系统:DeepSeek topic 1.77 3.01 0.10 0.04
自动化研究:Human 19.10 38.29 4.49 2.99
自动化研究:Llama topic 5.28 14.08 1.58 0.53
自动化研究:DeepSeek topic 3.35 4.75 0.44 0.09

人类论文彼此之间也是问题、动机更容易相似,具体方法更难相似,所以不能拿槽位原始值直接横向比较。但 AI 相对人类的缺口在后两槽仍然巨大,尤其 DeepSeek-V4-Flash 几乎覆盖不到人类研究计划。

论文给的 ReMoE 案例很典型。人类论文通过微调路由器,让 MoE 模型优先复用最近用过的专家;不匹配的 AI 提案则保持网络不变,在外部预测专家需求并预取。两者都在解决专家加载的 I/O 开销,问题与动机一致,机制却完全不同。另一份匹配提案同样选择训练路由器,于是方法和研究计划也被判为匹配。

说实话,这个案例比总分更有解释力:模型并非没理解痛点,而是倾向在既有模型外面加调度、检索、缓存或额外模块,较少走到人类那种改变核心机制的路线。当然,案例只负责解释指标,不能用来估计这种行为在全部提案中的频率。

把提案数量扩大 3.8—17 倍,仍然不够

作者将 Gemini 3.5 Flash-Lite 和 DeepSeek-V4-Flash 的 free、topic 种群从 300 份扩到与各人类参考集相同规模。Match-Cite 和 Match-Idea 都只缓慢上升并趋于平台,topic 通常比 free 爬得快一些,却仍远低于人类水平。

所以这不是“采样不够多,多生成几份总能蒙中”的问题。单纯堆 Agent 数量,补不上从方向到机制的缺口。


七、专家盲评:未匹配提案不是被埋没的宝藏

自动匹配有一个天然漏洞:没有撞上 2026 年论文的提案,也可能是社区尚未发现的好机会。为排除这种解释,11 位有审稿经验的评审对 192 份文档做了盲评,每份文档得到两次评价。样本在人机、四个领域和是否匹配上均衡,评分线性映射到 0—100。

维度 人类 2026 论文 LLM 提案均值 人机差值
Soundness 49.83 38.54 -11.29
Presentation 62.50 58.16 -4.34
Contribution 53.99 45.31 -8.68
Feasibility 75.39 63.80 -11.59
Expected success 70.70 50.39 -20.31
Overall rating 49.48 38.54 -10.94
Judged AI 39.06 86.46 +47.40

写作呈现的差距最小,预期成功的差距最大。评审未必总能说清一份提案哪里不对,但他们明显更不相信 AI 方案能真正跑通。

拆分匹配状态后,结论更尖锐。匹配组里,AI 与人类在可行性、预期成功上的差距分别约为 8 和 15 分;非匹配组扩大到约 15 和 26 分。两组 Overall rating 都落后约 11 分。那些没有人类对应物的提案,并没有因“更超前”而获得更高评价,反而在执行层面更弱。

不过平均值不能覆盖个体。案例里也有 AI 提案在 Soundness 和 Expected success 上超过匹配的人类论文,还有提案被评审误认为是真实论文。DeepSeek-V4-Flash 的盲评样本甚至在 Soundness、Presentation、Contribution 上高于人类平均,只是 Feasibility 和 Expected success 仍落后。把低匹配一概等同于坏想法,同样会读过头。


八、我的判断: benchmark 很强,结论边界也要守住

这篇论文最打动我的地方,不是“AI 只有人类 18%”这个适合传播的数字,而是它把研究品味拆成了可以逐层定位的过程:文献选择、方向覆盖、想法槽位、执行评价。很多评测停在一个总分,IdeaTaste 能继续追问差距究竟藏在哪里,这才让“具体方法与研究计划”成为可信的结论。

时间外推参照也比单纯专家偏好更有生命力。榜单可以每过一年把语料 cutoff 向前移动,用新发表论文评估当时的模型,天然形成滚动测试。引用匹配同时看两个方向、想法匹配按槽位稀有度加权,这些细节都在防“靠扎堆刷分”。

但有几个边界必须写清楚。

人类参考集不是纯人类、全同行评审的金标准。 2026 年论文可能借助模型写作,也包含未经会议评审的预印本。作者测的是作者实际选择并公开的研究方向,不是经过验证的科学价值。论文自己也明确承认,高匹配不自动代表高质量,低匹配也不自动代表低质量;盲评只是为后一种情况提供额外证据。

想法来自摘要,不是完整研究过程。 摘要对研究计划的描述可能很薄,抽取器再忠实也无法恢复没写出的机制。top-5 候选检索还可能漏掉真正的相似文档,因此 Match-Idea 更接近“可检索、可判别的想法重合”,不是人类思想的全量覆盖。

实验范围仍是四个计算机相关领域,参考期只有 2026 年 1—8 月。 8 月数据还不完整,最新预印本也可能因索引延迟或缺少引用而漏收。把结论直接推广到数学、生物或材料科学,证据还不够。192 份盲评文档和 11 位评审能揭示方向,也不能替代真正投入资金、算力并执行项目后的结果。

还有一点工程复现上的隐患:各模型 API 没有统一传入 temperature、top-p 和采样种子,而是使用端点默认值。统一智能体与提示词保证了结构公平,但采样行为并未完全对齐。好在重复运行测试中,匹配指标绝对变化最多 0.44 个百分点,多样性最多 2.20 个百分点,主要趋势看起来比较稳。


九、对做科研 Agent 的人有什么启发

如果你正在做自动选题或 AI Scientist,这套结果给出的优先级很清楚:别把主要预算继续砸在“再生成 10 倍提案”或“再塞一张领域全景图”上。模型已经能找到值得研究的问题,下一步该强化的是机制生成与执行闭环。

一个更合理的系统,应当在提案阶段显式比较多条作用机制,而不是只更换任务和方法标签;让批评者围绕实验可区分性、资源约束、失败条件去推翻方案;再用小规模原型或仿真尽早检验可行性。frontier 的同行记录只带来有限收益,也提醒我们不要期待几个相似模型互相看一眼,就自动长出真正的多样性。

评测上则可以借走这套“滚动未来集”:冻结今天可见的资料,保存模型提案,等一年后再看社区做了什么。它比反复让同一批模型裁判互打分更难被提示词和写作风格钻空子。

我的总体判断是,IdeaTaste 没有证明 LLM 缺乏一切科研创造力,它证明的是一件更具体、也更值得警惕的事:当前模型能识别研究社区的问题与动机,却很不擅长预测社区最终采用的具体方法和研究计划。自动科研的短板已经从“会不会写提案”移到了“能不能提出经得起执行的机制”。这个转变,值得每一个做科研智能体的人认真对待。


参考资料

  1. Zhong et al. IdeaTaste: Do LLMs Share the Research Taste of Human Researchers? arXiv:2611.03424. https://arxiv.org/abs/2611.03424
  2. IdeaTaste 官方项目与榜单:https://cxcscmu.github.io/IdeaTaste
  3. Chen et al. Measuring the Gap Between Human and LLM Research Ideas. arXiv:2607.01233. https://arxiv.org/abs/2607.01233

觉得有启发的话,欢迎点赞、在看、转发。跟进最新AI前沿,关注我