让模型学会“翻书”:Self-Learning RL 如何把证明准确率从 51.5% 推到 79.5%
给模型一本 20 多万 token 的数学教材,再给它一道没有附答案的证明题,它会怎么做?
很多人的直觉是:把相关章节检索出来,塞进上下文,剩下的交给推理。但真实的学习过程没这么线性。你读到一半可能发现缺一个定义,回头查目录;证明写到卡住,才意识到前面某个定理的条件没满足;有时候,真正有用的材料甚至不在题目出处附近。
这篇论文打动我的地方,就是它把“找材料”与“边推理边补课”拆开了。结果也有点反直觉:训练前,让模型自由翻书反而拖累成绩;训练后,同一种交互方式却成了最强方案。
核心摘要:作者用 158 本数学教材和 5,183 道证明题构造自学习环境,让模型通过 BookNavigator 自主查目录、搜章节、读原文,再用 GRPO 强化学习训练。方法的关键不是单纯奖励“多调工具”,而是给正确且探索过的轨迹加退火奖励,同时用冻结的初始模型评价每一轮工具调用,重新分配优势。Intern-S2-Preview-35B 的整体证明准确率从 51.5% 升到 79.5%,比最强的固定检索 RL 基线高 6.4 个点。我的判断是:这项工作最值钱的不是又一个工具接口,而是揭示了“准确率变高,模型却不再翻书”这个训练塌陷;不过,跨任务增益仍然有限,距离通用自主学习还有一段路。
📖 论文信息
- 标题:Incentivizing Self-Learning in Large Language Models via Reinforcement Learning
- 作者:Lingkai Kong、Yuzhe Gu、Haiteng Zhao、Zijian Wu、Youqing Fang、Zhouqi Hua、Yanan Sun、Kai Chen、Wenwei Zhang
- 机构:Shanghai AI Laboratory;Shanghai Jiao Tong University;MMLab, The Chinese University of Hong Kong;University of Science and Technology of China;Fudan University
- 提交日期:2026 年 10 月 29 日
- 论文链接:https://arxiv.org/abs/2610.39671
- 核心方法:Self-Learning + BookNavigator + 细粒度奖励 GRPO
🎯 这里要学的,不是“再检索一次”
RAG 很擅长回答“某个事实写在哪里”。但数学证明更像一场边学边做的开卷考试:定理就在眼前,不代表你知道何时用、怎么用,也不代表你能发现缺失的前置知识。
作者把目标能力称为 self-learning:模型在解决当前任务的过程中,自主获取、理解并应用长篇参考材料里的知识。这里有三个容易混淆的边界。
它不是测试时更新参数,也不是跨任务保存记忆。每次解题都在一个 episode 内完成,教材是静态的,模型权重不会因为这次阅读立刻改变。它也不是自己编题、自己打分的自博弈训练:习题和参考解答来自教材,参考解答对解题策略隐藏,但最终评委会用它判断证明是否正确。
所以,标题里的“自学习”更准确地说是 学会如何学习,不是完全摆脱外部监督。
| 路线 | 材料如何进入模型 | 训练关注什么 | 这篇论文的差别 |
|---|---|---|---|
| 固定 RAG | 生成前一次检索并拼接 | 最终答案 | 阅读不能随推理进展调整 |
| Search-R1、R1-Searcher | 多轮搜索与推理交替 | 结果奖励下的搜索策略 | 这里要找的是定义和定理,不是藏在网页里的答案 |
| StepSearch、SLATE 等过程奖励方法 | 多轮检索 | 步骤质量与信用分配 | 这里用后续推理回看工具价值,并保持轨迹平均优势不变 |
| Self-Learning | 查目录、搜索、读章节与证明交替 | 正确性、探索激励、逐轮工具信用 | 强调从未见教材中获取并应用新知识 |
我觉得这个任务设定很扎实。习题和对应解答从模型可见材料中移除,模型不能靠搜到原题答案取巧;保留下来的定义、定理、例题和一般性证明,才是它真正能用的“课本”。
🏗️ 把 158 本教材变成一个可训练的书房
数据管线把教材解析成带章节层级的文本,将习题与参考解答单独抽出,再删除显式引用教材节号的题目,尽量让题干自包含。每本可见教材可以表示为一组章节,每节保留编号、标题和正文。
数据规模不小,而且确实是长上下文环境:平均每本书 55.8 节、208,252 个 token。
| 数据划分 | 教材与题目 | 检查的能力 |
|---|---|---|
| 训练集 | 132 本教材,4,557 题 | 学习教材研读与证明 |
| ID-Book | 训练教材中的 4 本,保留 205 题 | 泛化到同书新题 |
| OOD-Book | 未参与训练的 7 本教材,155 题 | 泛化到同学科新教材 |
| OOD-Subject | 完全留出的 19 本概率与统计教材,266 题 | 泛化到新学科 |
| OOD-Task | BrowseComp-Plus、CL-bench | 迁移到检索和上下文学习 |
整套数据覆盖分析、代数与数论、几何与拓扑、图论、微分方程、数值计算与优化、竞赛数学、概率与统计。概率与统计被整体留作新学科测试,这个划分比随机拆题更有说服力。

图 1:左侧把原始教材组织成章节结构,习题进入解题流程,参考解答对策略不可见;中间的 Policy 在 Study 与 Reason 之间循环,提交 Final Solution 后,Judge 对照隐藏的 Reference 给出 Reward,形成 RL Loop。右侧柱状图对比 Base、No-Book RL 与 Self-Learning RL:ID-Book 分别为 39.0、53.8、65.5,OOD-Book 为 68.9、78.4、85.2,OOD-Subject 为 60.8、74.1、86.7;BrowseComp-Plus 为 50.2、48.6、51.9,CL-bench 为 14.8、16.2、17.1。图里最醒目的不是某一根柱子,而是 Self-Learning 从基座阶段的劣势翻到训练后的领先。
BookNavigator:只给三个动作,但足够构成学习闭环
模型不能随意翻整本书,只能通过三个接口行动。
| 动作 | 返回内容 | 在“学习”里的角色 |
|---|---|---|
get_toc | 完整层级目录与章节编号 | 先建立全局地图 |
search_index | 按关键词返回相关章节及片段 | 根据当前卡点定位材料 |
read_section | 指定章节的完整保留文本 | 读定义、定理、证明和例题 |
search_index 不是简单字符串命中,它综合加权词项覆盖、词项距离、精确短语匹配和标题相关性。每次观察都会追加到交互历史,下一轮推理可以利用刚读到的内容,也可以暴露新的知识缺口。
Self-Learning 最多交互 8 轮,总轨迹上限 64k token。固定检索基线则一次性生成答案:Top-k Sections 最多拼入 8 个检索章节,Long-Context 按原书顺序拼接,Oracle Section 直接提供题目出处章节。Oracle 也不是参考答案,更不保证包含全部前置知识,所以别把它理解成性能上界。
🧠 核心难题:模型越会做题,越不愿意学习
只看最终证明对错,会出现两种很典型的情况。
一条成功轨迹里可能夹着一堆无效检索,结果奖励却把所有模型生成 token 一起表扬。另一种更隐蔽:RL 让模型推理变强后,它不看教材也能做对更多题,于是“不翻书”反而成为更省事的高奖励策略。
说实话,我看到消融里的工具使用曲线时,才意识到这篇论文真正抓住的问题:正确率从 51.5% 升到 74.9%,工具轨迹占比却从 36.9% 掉到 6.7%。如果只看准确率,这个训练很漂亮;如果目标是学会从陌生材料中补课,它其实在退场。
作者用两个互补机制处理这个矛盾。
1. 探索奖励:只奖励“做对了且真的查过”
轨迹级奖励写成:
其中,最终证明正确时 \(r(\tau)=1\),错误为 \(-1\);正确轨迹里至少有一次成功工具调用,\(b(\tau)=1\)。\(\beta_n\) 在 50 个 rollout step 内按余弦 schedule 从 1 退火到 0.25,早期多鼓励翻书,后期仍保留非零激励。
这个正确性门控很重要。模型不能靠乱翻书把错误证明变成正奖励;它必须先完成正确证明,探索才有额外收益。
2. 工具信用:不要表扬每一轮,只调整相对贡献
冻结的初始策略充当 tool judge。它读取题目、截至当前轮的交互,以及下一轮推理,给工具调用贴 useful、neutral 或 harmful 标签。评委看不到参考答案,也不知道最终对错;下一轮推理只是用来回看这次检索有没有帮上忙。
每轮得分随后按 token 数加权居中,再调整该轮优势:
\(A\) 是 GRPO 从整条轨迹奖励算出的优势,\(m_t\) 是第 \(t\) 轮参与策略损失的生成 token 数,\(\alpha=1\)。工具返回文本只作上下文,不进入策略损失;推理与工具调用 token 则使用该轮的 \(\widetilde{A}_t\)。
这个设计挺漂亮:居中后,整条轨迹的 token 加权平均优势仍是 \(A\),所以它不是另起一个 process reward 去覆盖结果信号,而是在轨迹内部重新分工。好检索多分一点信用,重复或无关检索少分一点,最终答案仍然是主导目标。
但有个细节让我皱了下眉。虽然标签有三类,实际映射却是 useful=1、neutral=1、harmful=0.5。也就是说,训练只区分“有害”和“其余”,有用与中性没有数值差异。这里的细粒度并没有标签名称看起来那么细,后续工作其实还有很直接的改进空间。
🧪 主实验:翻书从拖累项变成最强能力
所有 RL 都从 Intern-S2-Preview-35B 出发,训练 50 个 rollout step。每个 rollout batch 有 128 个问题组,每题采样 8 条轨迹,随后做两次 mini-batch 更新。学习率为 \(10^{-6}\),GRPO 使用 leave-one-out 组优势,关闭 KL 正则。
最终答案由 GLM-5.2 对照参考解答评审。每份证明独立检查 8 次,只有 8 次都认为没有错误才记为正确。每题采样 4 个独立解答,表中报告平均证明准确率。
| 协议 | ID-Book Base → +RL | OOD-Book Base → +RL | OOD-Subject Base → +RL | Overall Base → +RL | Overall 增益 |
|---|---|---|---|---|---|
| No-Book | 39.0 → 53.8 | 68.9 → 78.4 | 60.8 → 74.1 | 55.7 → 68.5 | 12.9 |
| Top-k Sections | 43.7 → 56.6 | 73.1 → 81.0 | 70.2 → 81.3 | 62.2 → 73.1 | 10.9 |
| Long-Context | 39.6 → 57.1 | 69.4 → 80.8 | 62.1 → 77.5 | 56.7 → 72.2 | 15.5 |
| Oracle Section | 43.2 → 54.4 | 70.7 → 77.6 | 69.0 → 79.9 | 60.9 → 71.0 | 10.0 |
| Self-Learning | 33.9 → 65.5 | 65.2 → 85.2 | 56.8 → 86.7 | 51.5 → 79.5 | 28.0 |
训练前,Self-Learning 的整体准确率只有 51.5%,低于 No-Book 的 55.7%,也低于全部固定检索协议。我的第一反应是,这很符合多轮工具系统的常见失败模式:接口给了,模型不会用;上下文越滚越长,检索与推理互相干扰。
训练后,数字完全翻过来。Self-Learning 达到 79.5% 的整体准确率,比 No-Book RL 高 11.0 个点,比最强的 Top-k Sections RL 高 6.4 个点。ID-Book 上更是从五种协议里最弱的 33.9%,升到最强的 65.5%。
也不能只挑最好看的数字说。不同 split 的题目难度明显不同,Self-Learning 在 OOD-Subject 上拿到 86.7%,不代表新学科天然比 ID 更容易迁移;基座协议在各 split 的排序本来就不同。这里能支持的是“同一协议训练后的跨划分优势”,不是跨数据集绝对难度结论。
🔬 增益到底来自推理变强,还是更会读书?
这是我最关心的一组对照。如果 RL 只是把数学推理练熟了,那不叫学习策略迁移。作者换了五种参考材料条件,把这两部分收益拆开。
| 参考条件 | Base | Self-Learning RL |
|---|---|---|
| Paired Textbook,原配教材 | 51.5 | 79.5 |
| No-Book,去掉教材和工具 | 55.7 | 71.7 |
| Topic-Matched Textbook,换成同学科教材 | 49.6 | 75.2 |
| Source Removal,删除出处及前后共 9 节 | 49.0 | 74.6 |
| Non-Source Removal,随机删除其他 9 节 | 53.0 | 79.8 |
无书条件下,训练仍把准确率从 55.7% 推到 71.7%,多了 16.0 个点。坦白讲,这部分说明大量收益来自数学推理本身变强,不能全记在“自学习”头上。
但故事没停在这里。训练后的模型有原配教材时是 79.5%,无书时是 71.7%,中间仍有 7.8 个点差距。换成同学科教材能拿到 75.2%,删掉题目出处附近章节也有 74.6%,都高于无书条件。模型不是只会背某本书的固定位置,它还能从替代材料或周边前置内容里找帮助。
随机删 9 节几乎不伤成绩,79.8% 对 79.5%;删出处邻域却降到 74.6%。同样删 9 节,掉不掉分取决于删的是哪里。这个对照让“模型确实在利用材料”可信了不少。
🌐 跨任务迁移:有信号,但别吹成通用能力
跨任务评测没有继续使用 BookNavigator。BrowseComp-Plus 按原协议使用 BM25 检索和 Qwen3-32B 评委;CL-bench 直接根据给定上下文生成答案,由 GPT-5.1 评审。这样测的是训练后的策略能否迁移,而不是把原工具接口硬搬到新任务。
| RL 训练协议 | BrowseComp-Plus | CL-bench Overall |
|---|---|---|
| Base | 50.2 | 14.8 |
| No-Book | 48.6 | 16.2 |
| Top-k Sections | 49.9 | 15.5 |
| Long-Context | 49.4 | 14.9 |
| Oracle Section | 48.2 | 14.4 |
| Self-Learning | 51.9 | 17.1 |
Self-Learning 相比基座分别提升 1.7 个点和 2.3 个点,并且在两个外部基准上高于其他训练协议。固定检索 RL 在 BrowseComp-Plus 上全部低于基座,这个结果挺有警示性:固定上下文里做数学推理,不自动带来更好的开放检索能力。
不过,我更愿意把这两个数称为积极信号,而不是通用自学习已经成立。论文没有给出这些外部增益的方差或显著性检验,幅度也远小于数学主任务。
CL-bench 的分项结果更能压住兴奋。Self-Learning 在领域知识推理 DKR 上从 14.5% 到 19.0%,规则系统应用 RSA 从 16.3% 到 17.5%,经验发现与模拟 EDS 从 7.5% 到 12.6%;程序性任务执行 PTE 却从 16.6% 降到 15.9%。而且所有 RL 协议在 PTE 上都低于基座。
你想想看,数学证明奖励的是构造正确推导,程序性任务要求严格照流程和约束执行,两者并不总是一致。迁移是有选择性的,这点论文自己也没有回避。
🧩 消融:探索奖励和工具信用,缺一个都不行
| RL 设置 | ID-Book | OOD-Book | OOD-Subject | Overall | 工具轨迹占比 | 平均调用数 |
|---|---|---|---|---|---|---|
| Base | 33.9 | 65.2 | 56.8 | 51.5 | 36.9% | 1.5 |
| 仅正确性 RL | 60.7 | 81.9 | 81.5 | 74.9 | 6.7% | 0.3 |
| RL + Tool Credit | 64.0 | 81.1 | 82.5 | 76.2 | 7.0% | 0.3 |
| RL + Exploration Bonus | 61.8 | 83.9 | 84.4 | 77.0 | 79.9% | 5.9 |
| Self-Learning 完整方法 | 65.5 | 85.2 | 86.7 | 79.5 | 58.4% | 3.0 |
工具信用单独加入时,ID-Book 提升 3.3 个点,但整体只多 1.3 个点,工具轨迹占比仍只有 7.0%。它能改善单轮信用,却不会凭空制造探索意愿。
探索奖励单独加入时,79.9% 的轨迹开始用工具,平均调用数冲到 5.9,整体准确率来到 77.0%。问题是,调用多不等于学得好。完整方法把工具轨迹占比压到 58.4%,平均调用数降到 3.0,准确率反而升到 79.5%,三个 split 都是最高。
这组对照比一句“过程奖励有帮助”有料得多。探索奖励负责把模型推回书房,工具信用负责让它别在书房里乱翻。两者处理的是不同故障。
🤔 我的判断:真正的新意是训练动力学,不是“给模型一本书”
这篇论文的贡献可以压缩成一句话:结果奖励会让模型逐渐放弃查资料,而显式探索激励与逐轮信用分配能保住可迁移的学习行为。
我喜欢它的地方有三个。任务环境把习题答案从可见教材中剥离,避免了“检索到原题答案”这种偷懒路径;固定检索、无书、替代教材和删章节对照比较齐,收益归因没有只靠一张主表;消融同时报告准确率和工具行为,让我们看到“分数更高”与“更愿意学习”可以背道而驰。
但限制也很清楚。
训练只报告了 Intern-S2-Preview-35B 这一个基座,50 个 rollout step 能否在不同规模、不同模型家族上复现,还需要更多证据。奖励端依赖 GLM-5.2 对参考解答做 8 次悲观评审,这种设置适合有可靠参考解答的数学材料;换到法律、医学或开放式研究任务,评委误差和参考答案质量会变成新瓶颈。工具评委又把 useful 与 neutral 映射成同一分数,过程监督仍然偏粗。
还有一个命名上的提醒:它训练的是单次任务内的知识获取策略,不是持续更新权重、积累经验、跨天成长的智能体。把这项工作直接讲成“模型自主进化”,会越过实验实际覆盖的范围。
🔧 如果你在做长文档 Agent,这套思路怎么落地
我觉得可以直接借用的不是数学教材界面,而是下面这条训练顺序。
先把结果指标与工具行为一起记录。准确率上升时,如果工具轨迹占比和平均调用数持续下跌,别急着庆祝,模型可能正在绕开你希望它学会的能力。再看那些不查资料也能答对的样本,它们究竟证明模型更强,还是说明训练题根本用不上外部知识。
奖励设计可以沿用“正确性门控的探索奖励 + 轨迹内优势重分配”。不必一开始就训练昂贵的独立过程评委,冻结初始策略已经能带来收益;但要人工抽查评委标签,尤其是重复检索、无结果搜索、读到材料却没用上的边界案例。
落地时还要给探索设置预算。完整方法并没有追求最高调用频率,而是用更少调用拿到更高分。工程上应同时看任务成功率、每题工具成本、上下文占用和延迟,而不是把 tool_calls 当成越大越好的指标。
更自然的下一步,是把 useful 与 neutral 真正区分开,并检查工具评委能否随策略共同变强。另一个值得追的方向是跨 episode 记忆:当模型第二次遇到相似知识缺口时,能不能少查一次、查得更准?那才会从“会读书”走向“越读越会读”。
这篇论文没有把自主学习的终点做出来,但它抓到了一个很容易被准确率掩盖的失败模式。对做检索 Agent、长上下文推理和 Agentic RL 的人来说,这个失败模式本身就值得读一遍原文。
📚 相关公开资料
- Self-Learning 论文:https://arxiv.org/abs/2610.39671
- Search-R1:https://arxiv.org/abs/2503.09516
- StepSearch:https://arxiv.org/abs/2505.15107
- BrowseComp-Plus:https://arxiv.org/abs/2508.06600
- CL-bench:https://arxiv.org/abs/2602.03587
觉得有启发的话,欢迎点赞、在看、转发。跟进最新AI前沿,关注我