AGI 扩展的下一站：不是把 System-2 堆得更大，而是让 System-1 学会"看门"

不知道你有没有算过这么一笔账：RLVR 训练里，一批 prompt 采样出来的 rollout 组，有多少是真正产生非零 advantage 的？如果你跑过 GRPO，大概率体会过那种心疼——大量 prompt 全对或者全错，rollout 烧掉了，梯度信号是零。钱花了，什么都没学到。

这篇 arXiv 2610.39497 的 Perspective 论文，就是把这种心疼上升成了一个系统的理论框架：通往 AGI 的下一阶段，可能不在于把 System-2（那个昂贵的执行者）继续堆大，而在于给它配一个便宜的 System-1 当"门卫"——先预测每次交互值多少钱，只放行值得付账的那些。

核心摘要

论文提出 conditional interaction（条件交互），一个 predict–gate–execute–update 的闭环：轻量的 System-1 在执行前预测每个候选交互的效用，昂贵的 System-2 只执行越过自适应门槛的那些，执行结果再回流更新 System-1。理论上，在理想筛选和等成本假设下，执行算力可以节约接近 \(1/\rho_u\) 倍，其中 \(\rho_u\) 是"效用相关交互"的密度。作者进一步提出一个可检验的扩展假说：\(\rho_u\) 是扩展效率的一个可测量坐标，informative compute（有效算力）比 total compute 更能描述 scaling。这是一篇 Perspective，不是实验论文——定理是严格证的，但核心假说明确标注"尚未测量"。我的判断：框架本身把 RLVR prompt 筛选、test-time 自适应、agentic 工具调用这些看似分散的工程实践统一进了一本账，这个视角值钱；但 \(\rho_u\) 是否会像假设那样衰减、衰减多快，全文没有一处实测数据，这是它最大的软肋。

论文信息

• 标题：Does Scaling Toward AGI Depend on What System-1 Lets System-2 Execute?
• 作者：Qi Wang, Yun Qu, Lizhou Cai, Heming Zou, Haoang Chi, Yiqin Lv, Xiang Li, Haiyan Feng, Mengyu Ge, Yize Geng, Yuhang Jiang, Yixiu Mao, Xiangyang Ji（通讯作者）
• 提交日期：2026 年 10 月 29 日，cs.AI
• 链接：https://arxiv.org/abs/2610.39497

🎯 问题动机：交互很多，值得付钱的很少

先把论文里的"交互"（interaction）这个概念说清楚，它是全文的分析单元：对 LLM 来说是一次生成（比如一条 CoT）；对具身智能体来说是一条状态-动作-奖励轨迹；对工具调用 agent 来说是一次工具调用。共同点是——钱先花出去，价值事后才知道。

作者的诊断分三层，一层比一层尖锐。

积累前沿正在关闭。 人类公开文本可能在这个十年内被预训练耗尽，高质量子集更稀缺。合成数据能补一部分，但可合成的交互空间是组合爆炸的——光是机器人数据就要覆盖场景、物体、动力学、光照、传感，问题从"要多少数据"变成了"哪些合成交互值得付钱"。而在科学发现、临床、工业这些场景，数据是一次实验一次测量地产出的，没有任何算力能加速一个化学反应。

无导向交互的边际收益在消失。 这点用 scaling law 一算就明白。设累计算力 \(\mathcal{C}\)，损失 \(\mathcal{L}(\mathcal{C}) \propto \mathcal{C}^{-\alpha}\)，那么再来一次无条件交互的边际收益是

\(\alpha\) 通常不到 0.1，也就是算力翻倍，边际收益要掉到原来的 \(2^{-1.1}\) 以下。你想想看，这不是"收益递减"这种温吞的描述，这是收益在按幂律塌方。

超级鹦鹉假说（super parrot hypothesis）。 这是全文最有意思的一个提法。作者画了一条三阶段的假想轨迹：

图 2：超级鹦鹉假说。Stage 1（约 2020–2022）是"随机鹦鹉"阶段，模型模仿人类语言和行为但没有真正的理解；Stage 2（2022–2025）由 CoT 和 RLVR 触发，鹦鹉发展出人类尚可追随的推理能力——逻辑推理、因果推断、规划、自我反思；Stage 3（2026+）是假想阶段：AI 用自编码的表示存储信息、通过自我进化迭代，推理过程可能超出人类的可解释范围。

这张图的潜台词是 AI for AI：AI 越来越多地从自己生产的数据和反馈中学习——合成指令、自动验证器打分的自生推理轨迹、最终是自己选择的实验。但每一交互都是花自己的算力，而大量自生交互（退化的 RLVR prompt、不改变答案的推理 token、已经掌握的自提任务）教给模型的东西约等于零。所以超级鹦鹉要想养得起，必须在执行前就有一个内在的价值判断——这正是 System-1 的位置。

图 1：通往 AGI 的路线图。Era 1（2012–2020）靠堆模型容量，Era 2（2020–2025）靠堆数据和算力，今天我们爬在半山腰，头顶是数据耗尽和物理极限带来的收益递减。Era 3（2026+）的提案是两个系统的协同设计：System-1 负责"决定"（交互感知、成本高效），System-2 负责"执行"（复杂任务），目标只有一个——只为有信息量的交互付钱。

于是研究问题被收敛成一句：System-2 怎么在执行前就知道一次交互值多少钱？

🧠 方法核心：predict–gate–execute–update

一句话版

给昂贵的执行者配一个便宜的预测器，预测器给每个候选交互打分，只有分过线的才被执行，执行结果回去重新训练预测器。Predict before you pay。

正式定义

条件交互策略是个带门槛的 softmax：

两个旋钮分工明确：门槛 \(\kappa_t\) 决定谁有资格被执行（这是关于效用的声明，不是关于预算的），逆温度 \(\beta\) 决定在合格者中多激进地偏向最优。\(\beta \to \infty\) 时退化为贪心 argmax（Proposition 2），\(\beta \to 0\) 时退化为纯过滤器。如果可执行集为空，策略以概率 1 选择"弃权"——什么都不执行，这本身也是一个合法动作。

这个设计我第一眼看到的时候觉得"不就是个带阈值的路由吗"，但作者很警惕地和静态级联（static cascade）划清界限：市面上的模型路由（比如论文点名的商业产品 Jev）是训一次、只在推理层路由、从不接收大模型的执行反馈。区别不在"有没有两个模型"，而在反馈和联合优化——System-2 每更新一次，"什么交互有信息量"这个问题的答案就变一次，静态路由必然失准。

效用是什么？看你注册哪本账

论文刻意不把效用钉死。作者给的"跑例"是期望贝叶斯惊奇，即执行一次交互后信念的后验-先验 KL 散度：

直觉就是："如果我执行这次交互并观察结果，我的信念会动多少？"结果可预测的交互得分接近零。它等于条件互信息 \(I(\theta; o \mid i, \mathcal{H}_{0:t})\)。但这只是效用的一种注册方式，论文列了一张四种情形的对照：探索/实验设计用信息增益、课程学习用期望性能改进、决策用信息价值（VoI）、鲁棒域随机化用适应风险。不同场景注册不同的 \(u\)，共享的只是 predict-then-gate 这套架构。

主目标：一个分数背包问题

把所有场景统一起来的主目标其实很朴素——预算约束下最大化被执行的期望效用：

这是个分数背包，拉格朗日一解，最优就是阈值规则 \(x^\star(i) = \mathbf{1}[\hat{u}(i) \geq \lambda\mathcal{C}(i)]\)——按单位成本的价值排序放行。成本敏感时用的是净值分数 \(\tilde{u}(i) = \hat{u}(i) - \lambda\mathcal{C}(i)\)。RLVR 的 prompt 筛选、test-time 的自适应停机、agentic 的工具调用门控，都是往这个背包里填不同的 \(\mathcal{I}\)、\(\hat{u}\)、\(\mathcal{C}\) 而已。

说实话，这个统一让我有点意外——我本以为会是什么花哨的新机制，结果是个背包。但回头一想，好的框架往往就是这样：把一堆工程直觉收敛成一个谁都能看懂的优化问题，然后告诉你每种已有技术是在哪个角落实例化它。

关键指标：\(\rho_u\) 和 IIE

全文最重要的量登场了。效用相关交互密度：

即候选池里真实效用超过预先声明地板 \(u_{\min}\) 的比例。在 RLVR 里它的自然实例是 \(\rho_{\text{adv}}\)——能产生非零 GRPO advantage 的 prompt 比例，即 \(u_{\text{adv}}(\tau;\theta_t) = 1 - p_\tau^G - (1-p_\tau)^G\)（\(G\) 个 rollout 里 reward 有区分度的概率）。

配套的账本叫 IIE（Interaction Information Efficiency）：每单位系统级成本换来的效用，分子分母都把筛选成本 \(c_{\text{pred}}\) 和执行成本 \(\mathcal{C}\) 算进去。作者特别强调 IIE 必须和 yield（每个被筛候选平均产出的效用）一起报告——因为一个激进的大门可以把 IIE 刷得很高，同时把学习者饿死。

📐 理论结果：\(1/\rho_u\) 这个数从哪来的

论文的形式结果分三类：筛选收益、记忆收益、选择后悔。我挑重点说。

IIE 增益（Proposition 7）。 完美且免费的预测器下，条件交互相对无条件交互的效率比是

等成本时就是 \(1/\rho_u\)。如果无用交互反而比有用交互更贵（比如难但无信号的 prompt 生成更长），收益还超过 \(1/\rho_u\)。预测器不完美时，误放率 fp、误杀率 fn 和筛选成本 \(c_{\text{pred}}\) 各自按一个明确的修正项侵蚀这个倍数。这个推导干净漂亮，而且它解释了一个工程直觉：无用交互占比越高，看门越值。如果 RLVR 里只有 20% 的 prompt 产生有效梯度信号，理想看门的收益上限就是 5 倍。

筛选增益（Proposition 14）。 相对"先执行再过滤"的反应式基线，完美筛选的成本比是 \(\rho_u + r\)，\(r = c_{\text{screen}}/c_{\text{exec}}\)。只要筛选远比执行便宜，加速比趋近 \(1/\rho_u\)。论文还给了 Transformer 下的具体算账：\(n\) 个候选各跑 \(G\) 条长度为 \(L\) 的 rollout 是 \(\Theta(nGLd_{\text{model}}^2)\)，而预测式筛选只要 \(\Theta(n c_{\text{embed}}) + \Theta(n d_\phi^2) + \Theta(BGLd_{\text{model}}^2)\)，\(d_\phi \ll d_{\text{model}}\)。

峰值记忆（Proposition 15）。 这个收益容易被忽略但很实际：反应式评估要同时在飞 \(n\) 个 rollout（KV cache 峰值 \(\Theta(nGLd_{\text{model}})\)），预测式筛选只需要为通过门的 \(B\) 个候选分配 rollout 记忆，其余候选只留一个 embedding——记忆与 \(n\) 无关。也就是说候选池可以任意大，只受筛选时间限制。而池子越大，top-\(B\) 的真实效用越高（Corollary 16 用极值理论刻画了这一点）。看门不只是省钱，还解锁了"更大池子里挑尖子"这个原本被显存卡死的能力。

选择后悔（Theorem 18）。 便宜预测器选错交互的代价有界：

只要预测误差 \(\varepsilon_\phi\) 小于最小效用间隔的一半，后悔严格为零——不是渐近小，是就是零。超过这个门槛后界随误差线性退化。高概率版本（Corollary 19）还显式处理了 OOD 盲点：每轮最多贡献 \(\min(B, n_{\text{ood}})\,u_{\max}\) 的后悔。作者自己的点评很到位：一旦预测器基本准确，主导后悔的是盲点而不是平均误差。

协同扩展（Proposition 13）。 System-2 变贵 \(k\) 倍时，System-1 的最优尺寸单调不减——因为放大 System-2 稀释的是预测器自身的成本（\(c_{\text{pred}}/k\)），但预测错误的代价跟着 System-2 一起涨。直白点说：执行者越贵，门卫越值得雇好的。这是 comparative statics，定了方向没定量率，作者也坦承测出 \(\mathrm{fp}(s)\)、\(\mathrm{fn}(s)\)、\(c_{\text{pred}}(s)\) 三条曲线、找到类似 Chinchilla 参数-数据比那样的"两系统算力最优配比"，还是开放问题。

🗺️ 一个模式，四本账

论文第 5、6 节做的事是把同一决策模式铺到四个领域。我觉得这张对照表（原文 Table 1）是全文信息密度最高的一块，直接整理如下：

数字域那条线对做 RL 后训练的人最亲切：DAPO 的 dynamic sampling 和 online difficulty filtering 是"生成后再过滤"，烧掉全部 rollout 才发现 prompt 没信号；GRESO、MoPPS、DPS、BOTS、PCL、GPS 这批 2026 年的工作则是"生成前先预测"——用奖励历史、在线贝叶斯后验、隐马尔可夫、Thompson 采样或 on-policy 价值模型来预测 prompt 价值。论文援引的 predictive prompt sampling 工作报告了数倍的 rollout 节约，这也是全文唯一一处有间接实验支撑的效率声明。

物理域完全同构：域随机化把大部分轨迹浪费在已掌握的配置上，MPTS 系列通过学习风险预测模型免掉评估成本。两本文献各自的痛点其实是同一个——判断一个任务值不值得练的成本几乎等于练它的成本。

测试时那节（第 6 节）有个细节值得划线。停机的自然效用是下一步增量引起的信念变化 \(D_{\mathrm{KL}}[b_{t+1}\|b_t]\)，但作者自己指出了一个陷阱：一个增量可能本身不改变信念、却是后续改变的前提（中间思路几步之后才兑现），按下一步效用停机可能过早收手。所以正式结果（Proposition 22）用的是continuation utility——从第一步到满预算的总信念变化，并且需要"无延迟收益"条件才覆盖逐步停机。这个自我设限的诚实度，在 Perspective 论文里不多见。

Agentic 场景的成本是复合账：\(\mathcal{C}(i_t) = \lambda^\top c(i_t) + \lambda_{\text{risk}}\Pr[\text{不可恢复} \mid i_t]\)，延迟、费用、token、不可逆风险分开计价。Proposition 23 给了成本界 \(\mathbb{E}[\mathcal{C}_{\mathrm{CI}}] \leq (\rho_u^{\mathcal{C}} + r + m\varepsilon_\phi R_c)\,\mathbb{E}[\mathcal{C}_{\text{all}}]\)，但假设（a）"省略决策无关动作不改变答案"在长 GUI 轨迹上是会失效的——十几次单独看都无信息的点击合起来才能到达关键界面。作者承认这时该打分的单元是子轨迹而不是单动作，而且误差随 \(N\) 线性涨，horizon 越长对每步误差要求越苛刻。

🔬 中心假说：informative compute，以及那个结构性难题

第 7 节是全文最"贵"的部分，也是最需要批判性阅读的部分。

有效算力假说。 定义沿一次训练累计吸收的有效算力

其中 \(\rho_u^{\text{exec}}(c)\) 是累计算力 \(c\) 处真正花在效用相关交互上的比例。Proposition 24 证明：在密度恒定、无用交互无效果、完美筛选等假设下，条件交互的损失曲线就是无条件曲线向左平移 \(\ln(1/\rho_u)\)——这证实了 \(1/\rho_u\) 倍数的精确含义就是一个 log 轴上的水平重标。但真正的问题是 Hypothesis 25：\(\rho_u(\theta_t)\) 随系统变强而衰减（已掌握的交互离开效用相关集合）。如果这个衰减成立，而且条件进步恒定（单位有效算力降低相同期望损失），那么 \(d\mathcal{L}/d\mathcal{C} = -\eta\rho_u(\theta)\)，幂律 scaling 就对应一种特定的衰减形态 \(\rho_u = k\mathcal{L}^{1+1/\alpha}\)。

这里作者做了一件我很欣赏的事：明确区分了两个可实验区分的假说。保守版——门控只做水平重标，重标后两条曲线重合；激进版——门控还改变 \(\rho_u\) 的轨迹、从而改变有效指数，重标后条件曲线更陡。证伪协议也给了：沿两条 run 各自独立测量 \(\rho_u\) 轨迹，看指数差是否被轨迹差解释。

但泼点冷水：作者自己也承认，梯度噪声、内在维度、损失曲率都能产生幂律形态的曲线，\(\rho_u\) 只是"最可操作的那个解释"（因为门控可以直接干预它）。而且 Hypothesis 25 的方向性并非显然——新能力可能暴露新的有信息任务，让 \(\rho_u\) 回升。全文没有任何一条实测的 \(\rho_u\) 衰减曲线，第 5.1 节援引的节约数据"与保守版假说一致"，激进版完全没有证据。这是一个漂亮的、可证伪的、但目前零实证的假说。

选择性监督：门会审查自己的训练数据。 这是我读下来觉得最深刻的一个技术观察。一旦 System-1 决定哪些交互被执行，它同时决定了自己被训练在什么数据上：

标签不是随机缺失的——一个被打低分的候选被压制，其结果永远不被观察，错误打分永远不被纠正。这正是因果推断里的 positivity 问题和算法决策里的 selective labels 问题。而且注意一个微妙处：软门解决不了这个问题——指示函数让 \(\hat{u} \lt \kappa_t\) 的候选在任何有限 \(\beta\) 下执行概率都是零，温度只在可执行集内部随机化。必须显式混入探索（\(\epsilon\) 混合均匀策略）或对被压制候选做独立审计采样，才能保证 \(e(i) \geq e_{\min} \gt 0\)；好在大门自己分配倾向得分，逆倾向加权或 doubly robust 估计可以无偏纠正。作者把这个称为"整个框架最需要理论的问题"，我同意——这是一个自指结构，预测器的盲区恰恰长在它没数据的地方。

🤔 我的判断

值钱的地方。 一是统一视角：RLVR prompt 筛选、域随机化优先级、自适应推理停机、选择性工具调用，这四个领域原本各有各的行话，论文证明它们共享同一个 predict–gate–execute–update 骨架和同一本成本账。二是 \(\rho_u\) 作为"效率坐标"的提法：它不是 \(N\)、\(D\)、\(\mathcal{C}\) 之外的第四种资源，而是描述三种资源转化成能力的效率的参数，这个抽象层级摆得对。三是 Proposition 13 的协同扩展方向——执行者越贵门卫越值得投资，这和 Chinchilla 式的配比问题构成漂亮对偶。四是诚实度：全文严格区分"已证明"（IIE、筛选、记忆、后悔各界）、"有间接证据"（prompt/task 采样的节约）、"纯假说"（\(\rho_u\) 衰减、指数改变）三档，每档都标得清清楚楚。Perspective 论文最容易犯的毛病就是把猜想写成结论，这篇没有。

皱眉的地方。 最显眼的就是零实测：\(\rho_u\) 的衰减曲线一条都没有，测试时那节作者自己说"这是唯一一处连间接证据都没有的效率声明"。另一个皱眉点是，这套框架的全部收益都押在"便宜预测器能预测昂贵交互的价值"上——Theorem 18 告诉你误差的代价，但没有回答误差本身在多难的任务上能多小。System-2 越强，其效用的可预测性可能越差（作者在 3.1 节承认了这点但没展开），如果预测难度和交互价值同向 scaling，\(1/\rho_u\) 的美梦会被 \(r\) 和 \(\varepsilon_\phi\) 吃掉多少，完全是未知数。再者，框架是单学习者的，多智能体社会里"对谁有信息"是关系性的，作者把这个列为"框架最重要的边界"，等于自己划了 applicability 的红线。

对工程的启发倒是立竿见影的。 如果你在做 RLVR， \(\rho_{\text{adv}}\) 是今天就能测的量：按 Eq. (14) 在独立于大门的审计池上测、每候选多次 rollout、带置信区间、随 \(\theta_t\) 重估。如果你能画出自己训练里 \(\rho_{\text{adv}}\) 的衰减曲线，你就在做这篇论文点名的"最可操作的贡献"。如果你在做推理部署，one-probe 门（花一步探测增量预测 continuation utility，然后决定跑满还是停机）是个低成本可试的 A/B。如果你在做 agent，把"调用/提交"决策从 prompt 工程里拎出来变成一个显式的、带复合成本账的门，大概率比继续调 prompt 划算。

回到标题那个问题：scaling toward AGI 是否取决于 System-1 放行什么？论文的答案是"有条件的 yes"——交互昂贵、价值不均、可提前预测的地方，是；候选同质、预测和执行一样贵、执行本身便宜的地方，不是。这个克制的答案，比任何"颠覆性"宣言都更值得认真对待。下一步的决定性动作不是再写一篇 Perspective，而是测量：量出 \(\rho_u\)，在匹配的 informative compute 下比较 scaling 曲线，看协同设计改变的究竟只是一个常数因子，还是指数本身。

觉得有启发的话，欢迎点赞、在看、转发。跟进最新AI前沿，关注我