当 LLM 开始"做实验"：LDM 给生成模型装上了贝叶斯价值导航

上周读到一篇让我眼前一亮的论文。起因是一个困扰了我很久的现象：现在一堆号称能做"AI Scientist"的系统，让 LLM 提假设、写代码、跑实验，看起来热热闹闹，但真让它在一个开放空间里持续搜索几轮，你会发现它基本是在"碰运气"——它知道自己生成了什么，却完全不知道哪个候选值得花真金白银去验证。

o1 和 R1 那套推理范式之所以 work，靠的是便宜验证器：数学题有标准答案，代码有单测。可科学发现不是这样玩的。一次湿实验、一次分子对接、一次模型训练，都是要花钱花时间的，而且最值钱的发现往往藏在模型从来没见过的区域。LLM 的困惑度和自我评估，根本不是合格的指南针。

这篇论文给出的答案是 LDM（Large Discovery Model）：别再指望 LLM 自己判断好坏，给它外挂一个高斯过程（GP）代理模型，把每次实验结果沉淀成一个不断更新的"价值地图"，再用贝叶斯优化的采集函数反过来指挥 LLM 往哪儿生成、往哪儿深挖。这个思路我之前在做黑盒优化的时候就想过，但把它形式化成一套带遗憾界分析的完整框架，还跨三个领域做了系统验证，这是我第一次见。

核心摘要

LLM 会生成但不会估值，贝叶斯优化会估值但不会生成——这是科学发现类任务的两难。LDM 把两者耦合成一个循环：LLM 作为候选"蓄水池"不断提出和修改设计（程序、抗体序列、分子），GP 代理模型从实验观测中学习奖励面并量化不确定性，采集函数把两者合成一个"采集值倾斜"的搜索策略，决定下一轮把实验预算砸给谁。在神经网络训练程序搜索上，LDM 把验证集 BPB 的降幅做到纯 LLM 反思的 2.4 倍；在抗体设计上结合能量比纯 LLM 低 18.2%；在 KRAS G12D 分子多目标优化上 Pareto 超体积提升超过 60%。我的判断：这不是一个具体的 trick，而是一个很有可能成为"发现类基础模型"标准范式的框架级工作，值得细读。

论文信息

  • 标题：Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search
  • 作者：Zhongwei Yu、Yan Song、Xue Yan（共同一作），Anjie Liu、Xingyu Lu、Yihang Chen（共同二作），Huichi Zhou、Siyuan Guo、Luoyang Sun、Sihan Chen、Xiangning Yu，通讯作者 Jun Wang（UCL）
  • 机构：伦敦大学学院、香港科技大学（广州）、中科院自动化所、吉林大学、天津大学、长三角人工智能实验室
  • 链接：https://arxiv.org/abs/2608.15669 （v0.1 初版，代码在 github.com/yzailab/Large-Discovery-Models）

📖 从"会说话"到"会解题"，再到"会发现"

论文开篇的这张图把 LLM 的演化分成了三个阶段，我觉得概括得挺到位。

图1：从生成、推理到开放式发现

图1：三代 LLM 范式的演进。2020-2024 是"LLM Chat"时代，GPT-3.5 为代表，靠自回归下一词预测"会说话"；2024-2026 是"LLM Reasoning"时代，o1、DeepSeek-R1 靠推理时计算加便宜验证器"会解题"；2026 年开始的"LLM Discovery"时代，LDM 让模型连接真实实验、在设计空间里"会做发现"。

前两代的共同点是什么？反馈便宜且可重复。数学推导有验证器，程序有单测，棋局有模拟器。AlphaZero 那一套"生成—评估—搜索"闭环之所以成立，就是因为评估可以无限次重来。

科学发现完全是另一个游戏。候选空间巨大、结构化、甚至事先都列不完；评估一次就可能是一次真实实验。这时候 agent 要回答的不只是"哪个候选值得评估"，还有"哪些假设应该进入搜索过程"。说实话，后一个问题才是发现的本质——好答案往往在你当前的搜索范围之外。

作者把这个问题拆得很干净，用了一个"已知/未知"四象限（改造自 Rumsfeld Matrix）：

区域 含义 对应操作
Known knowns 已评估、奖励已清楚的设计 利用（Exploitation）
Known unknowns 搜索范围内、但奖励还没测的设计 探索（Exploration）
Unknown knowns 外部数据库里已有、但没进当前上下文的知识 记忆检索（留作未来工作）
Unknown unknowns 当前搜索根本表达不出来、够不着的设计 发现（Discovery）

这张表里最关键的是第三行那个区分：传统贝叶斯优化只有"利用+探索"两种操作，因为它的搜索空间是固定的。而"发现"是改变搜索支撑集本身——把模型原本表达不出来的设计族拽进搜索范围。LDM 的核心主张就是：LLM 负责"发现"（扩展边界），GP 代理负责"探索"（量化不确定性），采集函数负责"利用"（锁定高分候选），三者合成一个三角形。

图2：经验驱动的科学发现循环

图2：经验科学发现循环。假设空间经过"信念"筛选出候选设计，送去做昂贵实验，观测结果反过来更新信念（Reflection & Refinement），通过验证后的结果被接受为"发现"。LDM 就是把这个循环里的"信念"具体化成了 GP 代理模型。

🧠 LDM 的三大件：生成器、代理、采集函数

LDM 的数学形式化其实就一句话。第 t 轮，搜索策略是：

\[\pi_t = \arg\max_{q \in \Delta(\mathcal{X})} \left\{ \mathbb{E}_{x \sim q}[a_t(x)] - \frac{1}{\eta}\mathrm{KL}\!\left(q \,\|\, p_{\theta,\alpha}(\cdot \mid \mathcal{C}_t)\right) \right\}\]

别被这个变分形式吓到。它说的不过是：找一个分布，既想让采集值 \(a_t(x)\) 尽量高（听实验数据的话），又不想离 LLM 的先验 \(p_{\theta,\alpha}\) 太远（生成的东西得合法、得讲理）。\(\eta\) 是两者之间的旋钮。

根据 Gibbs 变分原理，这个优化问题有闭式解：

\[\pi_t(x) = \frac{1}{Z_t}\, p_{\theta,\alpha}(x \mid \mathcal{C}_t)\, \exp\{\eta\, a_t(x)\}\]

这个式子我很喜欢，因为它的两个极限恰好是已有的两个范式：\(\eta \to 0\) 时，策略退化成纯 LLM 生成，数据反馈完全不起作用；LLM 先验退化为均匀分布时，就还原成经典贝叶斯优化。LDM 是这两个端点之间的中间态。这种"旧方法是新框架特例"的结构，通常是框架立得住的信号。

三个组件各司其职：

  • 生成模型 \(p_{\theta,\alpha}\)：提供设计空间上的结构化先验。注意下标里既有参数 \(\theta\) 又有推理配置 \(\alpha\)（prompt、温度、推理时算力预算）——作者特意强调，提案分布不只取决于模型权重，还取决于你怎么用它。
  • GP 代理模型：对奖励函数建后验 \(R(x) \sim \mathcal{GP}(m(x), k(x,x'))\)，给出预测均值 \(\mu_t(x)\) 和认知不确定性 \(\sigma_t(x)\)。选 GP 是因为它样本效率高、有精确的贝叶斯更新、不确定性估计有原则。
  • 采集函数 \(a_t(x)\)：以 UCB 为例，\(a_t^{UCB}(x) = \mu_t(x) + \sqrt{\beta_t}\,\sigma_t(x)\)，把"预测好"和"不确定"合成分数。

这里有一个我觉得全文最值钱的概念区分：采集值不是奖励模型的分数。奖励模型估计"这个候选有多好"，采集函数度量的是"现在把算力/实验预算花在这个候选上值不值"——它把不确定性也算进去了。一个候选即使预测分数不是最高，只要它能解开一个关键的不确定、打开一片新区域，它就是好棋。作者拿 AlphaZero 的第 37 手类比：那步棋的价值不在当下局面，而在它改变了整盘棋的走向。

当然，LLM 解码出来的分布没法精确算 \(Z_t\)，所以实际做法是推理时搜索近似：LLM 先采样一个 \(N\) 个候选的池子，然后按 \(\exp\{\eta\, a_t\}\) 的 softmax 权重重采样（或 \(\eta \to \infty\) 时直接 best-of-N）。池子大小 \(N\) 就是推理时算力的旋钮——这和推理模型那套"用更多推理时计算换更好结果"的逻辑一脉相承，只不过这里的搜索信号从"模型自信度"换成了"贝叶斯采集值"。

理论上作者还给了一个遗憾界分解，把误差拆成三块：发现缺口（LLM 蓄水池还没够到最优点附近）+ GP-UCB 优化误差（经典项）+ LDM 采样不足（从倾斜分布采样而非精确最大化采集函数的代价）。LLM 通过两个通道影响界：提案质量越好、高采集值候选的概率质量越大，界越紧。这个分解说实话不算特别深的理论，但它把"为什么 LLM 和 BO 必须结合"讲成了数学语言，这就够了。

🔧 快慢两个循环：把搜索经验蒸回模型权重

LDM 还有第二层的野心。上面说的都是"快循环"——单次发现任务内，每批实验结果更新代理模型和 LLM 上下文。论文还设计了一个"慢循环"：把高预算搜索过程里积累的状态—候选—采集值轨迹存成数据集，用采集值加权做 SFT，把搜索策略"摊销"进模型权重。

图26：LDM 训练流水线

图26：从推理时搜索到蒸馏的完整流水线。Stage 1 用强模型做高预算推理时搜索（教师）：从研究上下文采样 N 个候选，用代理模型算采集值打分；Stage 2 构建 SFT 数据集，并把采集值"翻译"成自然语言推理（Reasoning Augmentation）；Stage 3 对较小的开源模型（学生）做自回归 SFT，得到一个推理成本低的"研究经理"。

这个 Reasoning Augmentation 的设计挺巧妙。光给一个标量采集分数，模型学到的是"选哪个"，学不到"为什么"。所以教师模型会把采集值背后的逻辑解释成一段研究进展推理——该利用有前途的家族、该探索不确定的方向、还是该扩展搜索支撑集——然后让学生连推理带动作一起学：

\[\mathcal{L}_{\mathrm{SFT}}(\phi) = -\sum_{t,i} \bar{w}_{t,i}\left[\lambda_z \log p_\phi(z_{t,i} \mid \mathcal{C}_t) + \log p_\phi(\hat{x}_{t,i} \mid \mathcal{C}_t, z_{t,i})\right]\]

其中 \(\bar{w}_{t,i}\) 是归一化的采集权重，高价值的动作权重大。作者把这个叫"发现微调"（Discovery FT），和对齐微调（蒸人类偏好）、推理微调（蒸验证轨迹）并列成第三代后训练范式——蒸的是"认知价值"（acquisition value）。这个说法有没有点营销味？有一点。但后面的 OOD 实验确实支撑了"学到的是可迁移的搜索策略"这个主张，我后面会讲。

📊 实验：三个领域，三种认识论区域

实验设计我觉得是这篇论文最扎实的部分。三个案例对应前面四象限里的三种不同挑战：AutoResearch（训练程序搜索，测试"发现"——程序编辑能引入新机制，搜索空间本身是动态长的）、抗体 CDRH3 设计（\(20^{11}\) 的离散空间，典型 known-unknown）、KRAS G12D 分子多目标优化（开放式化学空间，unknown-unknown）。

AutoResearch：2.4 倍的 BPB 降幅

这个测试床来自 Karpathy 的一个公开 autoresearch 项目：一个 coding agent 反复修改单个 train.py，每个候选用固定的 5 分钟训练预算跑一个小语言模型，以验证集 bits-per-byte（越低越好）为目标。原版系统只有 LLM 提案+评估循环，作者给它加上了 GP 代理和采集引导搜索。

图7：AutoResearch 上的发现曲线

图7：验证集 val_bpb（越低越好）随实验次数的变化。H100 面板里，Karpathy 纯 LLM 基线在约 255 次运行后停在 0.9767，而 LDM 一路降到 0.93421（615 次实验）；B200 面板上 LDM 只用 59 次实验就到 0.902291，比榜单上的 forge（0.9264）和 overmind（0.9274）都低。紫色标注是保留下来的程序机制改进（Muon 优化器、value embeddings、n-gram 记忆等），橙色标注是"反思"触发的搜索空间重构。

从共同起点 1.0069 算起，LDM 降了 0.0727，纯 LLM 基线降了 0.0301——2.4 倍的差距。但真正让我注意的是曲线形状：H100 曲线在 100 多轮时出现平台期，然后反思机制判定"当前参数化已经榨干了"，重构搜索空间（比如宽度搜索 768→640），曲线又往下走了一段。这个"平台—重构—再下降"的模式，就是论文说的"发现"操作在起作用，三个领域里反复出现。

还有一个对照很说明问题。附录里跑了一个纯 LLM 研究循环（\(\eta = 0\)，无代理、无采集值），875 次实验后停在 0.956 左右——比 0.9767 好，但离 0.93421 差得远。作者的点评我觉得一针见血：瓶颈不是提案表达力（LLM 完全能写出有用的训练代码、能反思自己的实验日志），瓶颈是价值。没有 \(\mu_t\)、\(\sigma_t\)、\(a_t\)，运行日志就只是一段叙事记忆，而不是一张可搜索的价值地图。

论文还列出了 LDM 保留下的每个程序改动及其贡献，像 n-gram 哈希记忆（-0.0275）、QK-norm（-0.0137）、窄模型换更多步数（-0.0109）——每一项都是"固定 300 秒预算内如何让 LM 学得更快"的经验发现。这些改动单独看都是社区里已知的技术，但能在固定 wall-clock 预算下自动组合出这套配方，还是有点东西的。

抗体设计：弱先验下逼近专用方法

CDRH3 环是抗体结合特异性的主要决定因素，长度约 11、20 种氨基酸，空间规模 \(20^{11}\)。用 Absolut! 模拟器当黑盒预言机，5 个 PDB 靶点各 200 次评估预算。

这里有个很诚实的结果：开源 LLM 在抗体序列上的先验很弱，直接生成（Direct 模式）的候选基本不给力，只比纯 LLM 略好。真正 work 的是 Policy 模式——LLM 不直接写序列，而是输出结构化的搜索参数定义"往哪儿搜"，外部采样器在这个区域里生成大候选池。Policy 变体把平均结合能压到比纯 LLM 反思低 18.2%，和专门做抗体的 AntBO 打平。

作者对此的定位也很克制：目标是证明通用方法有竞争力，而不是碾压领域专用方法。这个态度我喜欢，比满篇"SOTA"的论文可信多了。

分子优化：60% 以上的超体积提升

第三个任务针对 KRAS G12D 靶点，同时优化两个冲突目标：AutoDock Vina 对接分数和神经网络活性预测，用 Pareto 前沿超体积衡量，80 次评估预算。

结果：LDM 比纯 LLM 反思的超体积高 62.4%，比经典多目标 BO（MOBO）高 63.1%。MOBO 在约 40 次评估后就封顶了——它的字符串核没有结构先验，又被 ReaSyn 的局部类似物生成困在种子分子附近；而 LLM 直接生成能不断掏出全新的骨架。

图10：分子演化关键转折点

图10：Direct-Softmax 轨迹上 10 个核心发现里程碑对应的分子结构，按发现时间排列。从 r1 的锚定核心（HW 8.47 / Vina -6.53），到 r13 的溴共识（17 个来源）、r29 的长全氟尾（Vina 冲到 -10.32）、r51 的精英交叉（Vina -10.32 且 MW 600）——可以清楚看到骨架替换、官能团嫁接、跨家族特征重组的演化路径。每个结构下方还标注了 LLM 的"意图"（如 extend propoxy chain variation、trifluoromethyl-cyclopropyl exploration）。

这张图是全文我最喜欢的一张。它不是性能曲线，而是"发现"这个词的具象化：你能看到一个研究过程在化学空间里真实地迁移、分叉、重组。这种轨迹是纯 BO 给不出来的。

消融：三个组件一个都不能少

消融实验把 LDM 拆开来验证，三个结论：

  1. 推理时算力确实可扩展。N8H8（每轮 64 个打分局）比 N4H4（16 个）收敛到更低的平台。外部训练预算不变，增益完全来自每次昂贵评估前多花便宜算力。
  2. 发现机制是独立贡献。把特征集固定（禁掉搜索空间扩展），搜索就提前收敛到更差的平台。扩展边界，而不只是在固定空间里更努力地搜，才是持续改进的来源。
  3. 采集函数比纯利用强。只用后验均值（纯 exploit）早期有竞争力，但平台期高于 EI 和 UCB；UCB 表现最好，因为它刻意把一部分预算分给建模不足的区域。

温度敏感性也有意思：分子任务上 LLM 采样温度越高最终超体积越好（1.25 最佳），采集温度 \(\eta\) 是主导因素；但抗体任务上对温度不敏感——再次印证那个结论：弱先验领域里，结构化搜索参数化比激进的重加权更重要。

蒸馏实验：9B 学生超过 30B 参考

慢循环的验证同样跨了三个领域。AutoResearch 上，带推理增强的微调 Qwen3.5-9B 达到 val_bpb 0.9788，比 Qwen3-Coder-30B 参考（0.9801）还低，而不带推理的微调是 0.9829、基座模型只有 0.9965。分子任务上差距更大：带推理增强的微调模型最终超体积 26.660±2.608，DeepSeek V4 Flash 教师是 24.548±3.589，没微调的基座只有 16.489±5.867——学生把老师超了。

最能说服我的是 OOD 实验。把 5 个抗体靶点中的 2 个完全排除出训练集，微调后的模型在没见过的靶点上追平甚至超过在分布内的模型；更狠的是任务级测试——只用 nanoGPT 和分子轨迹微调、从没见过任何蛋白质数据的模型，在 5 个抗体靶点中的 4 个上追平了在分布内训练的模型。既然测试靶点从未出现在训练里，这不可能是记忆，说明蒸出来的确实是可迁移的采集策略。

不过坦率的讲，这里我也有保留：唯一的例外 1H0D_C 需要从头设计 motif 而不只是候选筛选，跨任务模型就输了。也就是说蒸馏出来的是"选择和管理实验"的策略，不是领域知识本身。这个边界论文自己点出来了，算诚实。

🤔 我的判断

这篇论文值钱的地方：它把"LLM + BO"这个大家隐约都觉得对的方向，做成了一个有数学形式、有理论分解、有跨域验证的完整框架。"利用—探索—发现"三操作的划分，特别是"发现=扩展搜索支撑集"这个定义，我认为会成为后续工作的标准语言。采集值作为推理时搜索的引导信号（而非奖励分数），这个区分也是真洞察——奖励模型告诉你什么好，采集函数告诉你现在该做什么，后者才是序贯决策该用的量。

要打问号的地方：GP 的三次方复杂度限制了它在大预算下的扩展性，作者自己承认了；代理模型的核函数和特征还要按领域手工定制，离"开箱即用的通用发现引擎"还有距离；所有实验都是数字预言机（模拟器、对接分数、固定预算训练），没有湿实验验证——模拟器上 work 不等于真实实验work，这是所有这类工作的共同天花板。另外 antibody 任务上打不过专用方法，说明框架的上限被 LLM 先验质量卡住，弱先验领域它能做的也有限。

和同期工作的位置：OPRO、LLAMBO 这类 LLM-for-BO 的工作缺校准的不确定性；dLLM 做离线黑盒优化的扩散树搜索，而 LDM 是在线序贯循环。LDM 真正的新意在于把采集值同时用作推理时搜索的引导信号和蒸馏的监督信号，把快循环和慢循环闭合起来。这个"发现版 RLHF"的叙事（Chat FT 蒸偏好、Reasoning FT 蒸验证、Discovery FT 蒸采集值）会不会成真，取决于后续有没有人在真实湿实验场景复现这些增益。

如果你在做 AI for Science、自动实验设计或者黑盒优化，这篇论文的框架值得直接拿来用——代码已经开源。至少它给了一个非常具体的提醒：下次再让 LLM 做迭代式搜索时，别让日志只是日志，给它配一张会学习的价值地图。

觉得有启发的话，欢迎点赞、在看、转发。跟进最新AI前沿，关注我