让模型学会“翻书”:Self-Learning RL 如何把证明准确率从 51.5% 推到 79.5%

给模型一本 20 多万 token 的数学教材,再给它一道没有附答案的证明题,它会怎么做?

很多人的直觉是:把相关章节检索出来,塞进上下文,剩下的交给推理。但真实的学习过程没这么线性。你读到一半可能发现缺一个定义,回头查目录;证明写到卡住,才意识到前面某个定理的条件没满足;有时候,真正有用的材料甚至不在题目出处附近。

这篇论文打动我的地方,就是它把“找材料”与“边推理边补课”拆开了。结果也有点反直觉:训练前,让模型自由翻书反而拖累成绩;训练后,同一种交互方式却成了最强方案。

核心摘要:作者用 158 本数学教材和 5,183 道证明题构造自学习环境,让模型通过 BookNavigator 自主查目录、搜章节、读原文,再用 GRPO 强化学习训练。方法的关键不是单纯奖励“多调工具”,而是给正确且探索过的轨迹加退火奖励,同时用冻结的初始模型评价每一轮工具调用,重新分配优势。Intern-S2-Preview-35B 的整体证明准确率从 51.5% 升到 79.5%,比最强的固定检索 RL 基线高 6.4 个点。我的判断是:这项工作最值钱的不是又一个工具接口,而是揭示了“准确率变高,模型却不再翻书”这个训练塌陷;不过,跨任务增益仍然有限,距离通用自主学习还有一段路。


📖 论文信息

  • 标题:Incentivizing Self-Learning in Large Language Models via Reinforcement Learning
  • 作者:Lingkai Kong、Yuzhe Gu、Haiteng Zhao、Zijian Wu、Youqing Fang、Zhouqi Hua、Yanan Sun、Kai Chen、Wenwei Zhang
  • 机构:Shanghai AI Laboratory;Shanghai Jiao Tong University;MMLab, The Chinese University of Hong Kong;University of Science and Technology of China;Fudan University
  • 提交日期:2026 年 10 月 29 日
  • 论文链接:https://arxiv.org/abs/2610.39671
  • 核心方法:Self-Learning + BookNavigator + 细粒度奖励 GRPO

🎯 这里要学的,不是“再检索一次”

RAG 很擅长回答“某个事实写在哪里”。但数学证明更像一场边学边做的开卷考试:定理就在眼前,不代表你知道何时用、怎么用,也不代表你能发现缺失的前置知识。

作者把目标能力称为 self-learning:模型在解决当前任务的过程中,自主获取、理解并应用长篇参考材料里的知识。这里有三个容易混淆的边界。

它不是测试时更新参数,也不是跨任务保存记忆。每次解题都在一个 episode 内完成,教材是静态的,模型权重不会因为这次阅读立刻改变。它也不是自己编题、自己打分的自博弈训练:习题和参考解答来自教材,参考解答对解题策略隐藏,但最终评委会用它判断证明是否正确。

所以,标题里的“自学习”更准确地说是 学会如何学习,不是完全摆脱外部监督。

路线 材料如何进入模型 训练关注什么 这篇论文的差别
固定 RAG 生成前一次检索并拼接 最终答案 阅读不能随推理进展调整
Search-R1、R1-Searcher 多轮搜索与推理交替 结果奖励下的搜索策略 这里要找的是定义和定理,不是藏在网页里的答案
StepSearch、SLATE 等过程奖励方法 多轮检索 步骤质量与信用分配 这里用后续推理回看工具价值,并保持轨迹平均优势不变
Self-Learning 查目录、搜索、读章节与证明交替 正确性、探索激励、逐轮工具信用 强调从未见教材中获取并应用新知识

我觉得这个任务设定很扎实。习题和对应解答从模型可见材料中移除,模型不能靠搜到原题答案取巧;保留下来的定义、定理、例题和一般性证明,才是它真正能用的“课本”。


🏗️ 把 158 本教材变成一个可训练的书房

数据管线把教材解析成带章节层级的文本,将习题与参考解答单独抽出,再删除显式引用教材节号的题目,尽量让题干自包含。每本可见教材可以表示为一组章节,每节保留编号、标题和正文。

数据规模不小,而且确实是长上下文环境:平均每本书 55.8 节、208,252 个 token。

数据划分 教材与题目 检查的能力
训练集 132 本教材,4,557 题 学习教材研读与证明
ID-Book 训练教材中的 4 本,保留 205 题 泛化到同书新题
OOD-Book 未参与训练的 7 本教材,155 题 泛化到同学科新教材
OOD-Subject 完全留出的 19 本概率与统计教材,266 题 泛化到新学科
OOD-Task BrowseComp-Plus、CL-bench 迁移到检索和上下文学习

整套数据覆盖分析、代数与数论、几何与拓扑、图论、微分方程、数值计算与优化、竞赛数学、概率与统计。概率与统计被整体留作新学科测试,这个划分比随机拆题更有说服力。

图1:基于教材的 Self-Learning 强化学习框架与核心结果

图 1:左侧把原始教材组织成章节结构,习题进入解题流程,参考解答对策略不可见;中间的 Policy 在 Study 与 Reason 之间循环,提交 Final Solution 后,Judge 对照隐藏的 Reference 给出 Reward,形成 RL Loop。右侧柱状图对比 Base、No-Book RL 与 Self-Learning RL:ID-Book 分别为 39.0、53.8、65.5,OOD-Book 为 68.9、78.4、85.2,OOD-Subject 为 60.8、74.1、86.7;BrowseComp-Plus 为 50.2、48.6、51.9,CL-bench 为 14.8、16.2、17.1。图里最醒目的不是某一根柱子,而是 Self-Learning 从基座阶段的劣势翻到训练后的领先。

BookNavigator:只给三个动作,但足够构成学习闭环

模型不能随意翻整本书,只能通过三个接口行动。

动作 返回内容 在“学习”里的角色
get_toc 完整层级目录与章节编号 先建立全局地图
search_index 按关键词返回相关章节及片段 根据当前卡点定位材料
read_section 指定章节的完整保留文本 读定义、定理、证明和例题

search_index 不是简单字符串命中,它综合加权词项覆盖、词项距离、精确短语匹配和标题相关性。每次观察都会追加到交互历史,下一轮推理可以利用刚读到的内容,也可以暴露新的知识缺口。

Self-Learning 最多交互 8 轮,总轨迹上限 64k token。固定检索基线则一次性生成答案:Top-k Sections 最多拼入 8 个检索章节,Long-Context 按原书顺序拼接,Oracle Section 直接提供题目出处章节。Oracle 也不是参考答案,更不保证包含全部前置知识,所以别把它理解成性能上界。


🧠 核心难题:模型越会做题,越不愿意学习

只看最终证明对错,会出现两种很典型的情况。

一条成功轨迹里可能夹着一堆无效检索,结果奖励却把所有模型生成 token 一起表扬。另一种更隐蔽:RL 让模型推理变强后,它不看教材也能做对更多题,于是“不翻书”反而成为更省事的高奖励策略。

说实话,我看到消融里的工具使用曲线时,才意识到这篇论文真正抓住的问题:正确率从 51.5% 升到 74.9%,工具轨迹占比却从 36.9% 掉到 6.7%。如果只看准确率,这个训练很漂亮;如果目标是学会从陌生材料中补课,它其实在退场。

作者用两个互补机制处理这个矛盾。

1. 探索奖励:只奖励“做对了且真的查过”

轨迹级奖励写成:

\[R_n(\tau)=r(\tau)+\beta_n b(\tau)\mathbb{I}\bigl[r(\tau)=1\bigr]\]

其中,最终证明正确时 \(r(\tau)=1\),错误为 \(-1\);正确轨迹里至少有一次成功工具调用,\(b(\tau)=1\)。\(\beta_n\) 在 50 个 rollout step 内按余弦 schedule 从 1 退火到 0.25,早期多鼓励翻书,后期仍保留非零激励。

这个正确性门控很重要。模型不能靠乱翻书把错误证明变成正奖励;它必须先完成正确证明,探索才有额外收益。

2. 工具信用:不要表扬每一轮,只调整相对贡献

冻结的初始策略充当 tool judge。它读取题目、截至当前轮的交互,以及下一轮推理,给工具调用贴 useful、neutral 或 harmful 标签。评委看不到参考答案,也不知道最终对错;下一轮推理只是用来回看这次检索有没有帮上忙。

每轮得分随后按 token 数加权居中,再调整该轮优势:

\[\bar{c}=\frac{\sum_{t=1}^{T}m_t c_t}{\sum_{t=1}^{T}m_t},\qquad \widetilde{A}_t=A+\alpha|A|(c_t-\bar{c})\]

\(A\) 是 GRPO 从整条轨迹奖励算出的优势,\(m_t\) 是第 \(t\) 轮参与策略损失的生成 token 数,\(\alpha=1\)。工具返回文本只作上下文,不进入策略损失;推理与工具调用 token 则使用该轮的 \(\widetilde{A}_t\)。

这个设计挺漂亮:居中后,整条轨迹的 token 加权平均优势仍是 \(A\),所以它不是另起一个 process reward 去覆盖结果信号,而是在轨迹内部重新分工。好检索多分一点信用,重复或无关检索少分一点,最终答案仍然是主导目标。

但有个细节让我皱了下眉。虽然标签有三类,实际映射却是 useful=1、neutral=1、harmful=0.5。也就是说,训练只区分“有害”和“其余”,有用与中性没有数值差异。这里的细粒度并没有标签名称看起来那么细,后续工作其实还有很直接的改进空间。


🧪 主实验:翻书从拖累项变成最强能力

所有 RL 都从 Intern-S2-Preview-35B 出发,训练 50 个 rollout step。每个 rollout batch 有 128 个问题组,每题采样 8 条轨迹,随后做两次 mini-batch 更新。学习率为 \(10^{-6}\),GRPO 使用 leave-one-out 组优势,关闭 KL 正则。

最终答案由 GLM-5.2 对照参考解答评审。每份证明独立检查 8 次,只有 8 次都认为没有错误才记为正确。每题采样 4 个独立解答,表中报告平均证明准确率。

协议 ID-Book Base → +RL OOD-Book Base → +RL OOD-Subject Base → +RL Overall Base → +RL Overall 增益
No-Book 39.0 → 53.8 68.9 → 78.4 60.8 → 74.1 55.7 → 68.5 12.9
Top-k Sections 43.7 → 56.6 73.1 → 81.0 70.2 → 81.3 62.2 → 73.1 10.9
Long-Context 39.6 → 57.1 69.4 → 80.8 62.1 → 77.5 56.7 → 72.2 15.5
Oracle Section 43.2 → 54.4 70.7 → 77.6 69.0 → 79.9 60.9 → 71.0 10.0
Self-Learning 33.9 → 65.5 65.2 → 85.2 56.8 → 86.7 51.5 → 79.5 28.0

训练前,Self-Learning 的整体准确率只有 51.5%,低于 No-Book 的 55.7%,也低于全部固定检索协议。我的第一反应是,这很符合多轮工具系统的常见失败模式:接口给了,模型不会用;上下文越滚越长,检索与推理互相干扰。

训练后,数字完全翻过来。Self-Learning 达到 79.5% 的整体准确率,比 No-Book RL 高 11.0 个点,比最强的 Top-k Sections RL 高 6.4 个点。ID-Book 上更是从五种协议里最弱的 33.9%,升到最强的 65.5%。

也不能只挑最好看的数字说。不同 split 的题目难度明显不同,Self-Learning 在 OOD-Subject 上拿到 86.7%,不代表新学科天然比 ID 更容易迁移;基座协议在各 split 的排序本来就不同。这里能支持的是“同一协议训练后的跨划分优势”,不是跨数据集绝对难度结论。


🔬 增益到底来自推理变强,还是更会读书?

这是我最关心的一组对照。如果 RL 只是把数学推理练熟了,那不叫学习策略迁移。作者换了五种参考材料条件,把这两部分收益拆开。

参考条件 Base Self-Learning RL
Paired Textbook,原配教材 51.5 79.5
No-Book,去掉教材和工具 55.7 71.7
Topic-Matched Textbook,换成同学科教材 49.6 75.2
Source Removal,删除出处及前后共 9 节 49.0 74.6
Non-Source Removal,随机删除其他 9 节 53.0 79.8

无书条件下,训练仍把准确率从 55.7% 推到 71.7%,多了 16.0 个点。坦白讲,这部分说明大量收益来自数学推理本身变强,不能全记在“自学习”头上。

但故事没停在这里。训练后的模型有原配教材时是 79.5%,无书时是 71.7%,中间仍有 7.8 个点差距。换成同学科教材能拿到 75.2%,删掉题目出处附近章节也有 74.6%,都高于无书条件。模型不是只会背某本书的固定位置,它还能从替代材料或周边前置内容里找帮助。

随机删 9 节几乎不伤成绩,79.8% 对 79.5%;删出处邻域却降到 74.6%。同样删 9 节,掉不掉分取决于删的是哪里。这个对照让“模型确实在利用材料”可信了不少。


🌐 跨任务迁移:有信号,但别吹成通用能力

跨任务评测没有继续使用 BookNavigator。BrowseComp-Plus 按原协议使用 BM25 检索和 Qwen3-32B 评委;CL-bench 直接根据给定上下文生成答案,由 GPT-5.1 评审。这样测的是训练后的策略能否迁移,而不是把原工具接口硬搬到新任务。

RL 训练协议 BrowseComp-Plus CL-bench Overall
Base 50.2 14.8
No-Book 48.6 16.2
Top-k Sections 49.9 15.5
Long-Context 49.4 14.9
Oracle Section 48.2 14.4
Self-Learning 51.9 17.1

Self-Learning 相比基座分别提升 1.7 个点和 2.3 个点,并且在两个外部基准上高于其他训练协议。固定检索 RL 在 BrowseComp-Plus 上全部低于基座,这个结果挺有警示性:固定上下文里做数学推理,不自动带来更好的开放检索能力。

不过,我更愿意把这两个数称为积极信号,而不是通用自学习已经成立。论文没有给出这些外部增益的方差或显著性检验,幅度也远小于数学主任务。

CL-bench 的分项结果更能压住兴奋。Self-Learning 在领域知识推理 DKR 上从 14.5% 到 19.0%,规则系统应用 RSA 从 16.3% 到 17.5%,经验发现与模拟 EDS 从 7.5% 到 12.6%;程序性任务执行 PTE 却从 16.6% 降到 15.9%。而且所有 RL 协议在 PTE 上都低于基座。

你想想看,数学证明奖励的是构造正确推导,程序性任务要求严格照流程和约束执行,两者并不总是一致。迁移是有选择性的,这点论文自己也没有回避。


🧩 消融:探索奖励和工具信用,缺一个都不行

RL 设置 ID-Book OOD-Book OOD-Subject Overall 工具轨迹占比 平均调用数
Base 33.9 65.2 56.8 51.5 36.9% 1.5
仅正确性 RL 60.7 81.9 81.5 74.9 6.7% 0.3
RL + Tool Credit 64.0 81.1 82.5 76.2 7.0% 0.3
RL + Exploration Bonus 61.8 83.9 84.4 77.0 79.9% 5.9
Self-Learning 完整方法 65.5 85.2 86.7 79.5 58.4% 3.0

工具信用单独加入时,ID-Book 提升 3.3 个点,但整体只多 1.3 个点,工具轨迹占比仍只有 7.0%。它能改善单轮信用,却不会凭空制造探索意愿。

探索奖励单独加入时,79.9% 的轨迹开始用工具,平均调用数冲到 5.9,整体准确率来到 77.0%。问题是,调用多不等于学得好。完整方法把工具轨迹占比压到 58.4%,平均调用数降到 3.0,准确率反而升到 79.5%,三个 split 都是最高。

这组对照比一句“过程奖励有帮助”有料得多。探索奖励负责把模型推回书房,工具信用负责让它别在书房里乱翻。两者处理的是不同故障。


🤔 我的判断:真正的新意是训练动力学,不是“给模型一本书”

这篇论文的贡献可以压缩成一句话:结果奖励会让模型逐渐放弃查资料,而显式探索激励与逐轮信用分配能保住可迁移的学习行为。

我喜欢它的地方有三个。任务环境把习题答案从可见教材中剥离,避免了“检索到原题答案”这种偷懒路径;固定检索、无书、替代教材和删章节对照比较齐,收益归因没有只靠一张主表;消融同时报告准确率和工具行为,让我们看到“分数更高”与“更愿意学习”可以背道而驰。

但限制也很清楚。

训练只报告了 Intern-S2-Preview-35B 这一个基座,50 个 rollout step 能否在不同规模、不同模型家族上复现,还需要更多证据。奖励端依赖 GLM-5.2 对参考解答做 8 次悲观评审,这种设置适合有可靠参考解答的数学材料;换到法律、医学或开放式研究任务,评委误差和参考答案质量会变成新瓶颈。工具评委又把 useful 与 neutral 映射成同一分数,过程监督仍然偏粗。

还有一个命名上的提醒:它训练的是单次任务内的知识获取策略,不是持续更新权重、积累经验、跨天成长的智能体。把这项工作直接讲成“模型自主进化”,会越过实验实际覆盖的范围。


🔧 如果你在做长文档 Agent,这套思路怎么落地

我觉得可以直接借用的不是数学教材界面,而是下面这条训练顺序。

先把结果指标与工具行为一起记录。准确率上升时,如果工具轨迹占比和平均调用数持续下跌,别急着庆祝,模型可能正在绕开你希望它学会的能力。再看那些不查资料也能答对的样本,它们究竟证明模型更强,还是说明训练题根本用不上外部知识。

奖励设计可以沿用“正确性门控的探索奖励 + 轨迹内优势重分配”。不必一开始就训练昂贵的独立过程评委,冻结初始策略已经能带来收益;但要人工抽查评委标签,尤其是重复检索、无结果搜索、读到材料却没用上的边界案例。

落地时还要给探索设置预算。完整方法并没有追求最高调用频率,而是用更少调用拿到更高分。工程上应同时看任务成功率、每题工具成本、上下文占用和延迟,而不是把 tool_calls 当成越大越好的指标。

更自然的下一步,是把 useful 与 neutral 真正区分开,并检查工具评委能否随策略共同变强。另一个值得追的方向是跨 episode 记忆:当模型第二次遇到相似知识缺口时,能不能少查一次、查得更准?那才会从“会读书”走向“越读越会读”。

这篇论文没有把自主学习的终点做出来,但它抓到了一个很容易被准确率掩盖的失败模式。对做检索 Agent、长上下文推理和 Agentic RL 的人来说,这个失败模式本身就值得读一遍原文。


📚 相关公开资料

  • Self-Learning 论文:https://arxiv.org/abs/2610.39671
  • Search-R1:https://arxiv.org/abs/2503.09516
  • StepSearch:https://arxiv.org/abs/2505.15107
  • BrowseComp-Plus:https://arxiv.org/abs/2508.06600
  • CL-bench:https://arxiv.org/abs/2602.03587

觉得有启发的话,欢迎点赞、在看、转发。跟进最新AI前沿,关注我