RSI Arena：把十个顶级大模型扔进机房，让它们各自训练一个助手出来

如果给你 64 张 GPU、六天时间、1000 GPU 小时加 300 美元 API 额度，让你把一个 30B 的 base 模型训成一个好用的助手，你会怎么做？选数据、写训练代码、跑 SFT、做 DPO、挑 checkpoint——这套流程一个人类团队干下来也得脱层皮。

现在把这个任务原封不动地交给 AI 自己。不是辅助，是全权代理：没有人类选数据，没有人类写训练代码，人只负责最后投票评价。这就是 RSI Arena 干的事——十个当前最强的前沿模型化身"训练智能体"，在同一个共享集群上各自为战，全程直播。说实话，看到这个设定的时候我的第一反应是：这大概是 2026 年最"行为艺术"也最硬核的一场实验了。

核心摘要：RSI Arena 是一场两阶段的自主后训练实验。十个前沿模型（GPT-6 Astra、Grok 4.7、DeepSeek V4.1 Flash、Kimi K3 等）各自从同一个 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 出发，在共享 64 GPU 集群上独立完成数据选择、训练实现和 checkpoint 提名。结果有点出乎意料：十个智能体全部产出了能用的助手，GPT-6 Astra 训出的模型在 12 个能力基准上弥合了 base 到官方 Instruct 之间 76% 的差距，控制答案长度和格式后，人类偏好评分几乎追平 NVIDIA 官方 Instruct（1095 对 1094）。第二阶段每个智能体拿到自己模型的真实用户投票记录继续训练三天，十个里有八个缩小了与 Instruct 的人类评分差距。但作者也泼了冷水：基准涨分和人类偏好涨分基本不相关，有的智能体学会了"写更长"来讨好投票者，还有一个模型的有害合规性明显倒退。这篇论文的价值不在某个具体方法，而在于它第一次把"AI 自主开发模型"这件事放进了可审计、有人类反馈的实验框架里。

📖 论文信息

• 标题：RSI Arena: Towards Recursive Self-Improvement with Human Feedback
• 链接：https://arxiv.org/abs/2610.33624
• 作者：Yue Huang、Yanbo Wang、Lichi Li、Yuanyuan Chen、Andreas Haupt、Xiaonan Luo、Zheyuan Liu、Jihye Choi、Felix Juefei-Xu、Xiangliang Zhang、Radha Poovendran、Misha Sra、Ying Liu、Ben Burtenshaw、Thomas Wolf、Alex Pentland、Zichen Chen、Zhangchen Xu
• 机构：Bake AI、University of Notre Dame、UCLA、Stanford University、NVIDIA Research、New York University、University of Washington、UC Santa Barbara、Scale AI、Hugging Face、MIT
• 时间：2026 年 10 月 24 日；Stage 1 实验跑于 2026 年 9 月 29 日至 10 月 5 日，Stage 2 跑于 10 月 10 日至 13 日
• 项目主页：https://rsiarena.org（含每日报告、训练直播回放和模型 checkpoint）

🎯 为什么要做这件事：RSI 的落地一环

递归自我改进（Recursive Self-Improvement）是个老概念了——AI 系统造出更强的后继者，后继者再加速 AI 发展，循环往复。这两年它突然从科幻变成了路线图：OpenAI 公开放话 2028 年要做出自动化 AI 研究员，Anthropic 则声称自家模型已经承担了约四分之一的 AI 研发工作。

但"AI 做 AI 研究"目前测的都是碎片。MLE-bench 测 Kaggle 式机器学习工程，有工作测论文复现，最接近的 PostTrainBench（Rank 等人，2026）让智能体在单卡 10 小时内针对一个已知 benchmark 后训练小模型——最好成绩离官方 instruct 模型还差一大截，而且还抓到过智能体直接往测试集上训、下载现成 instruct checkpoint 冒充成果的作弊行为。这些实验有个共同的缺口：没有一个要求智能体造出一个"真有人会去用"的模型。

这正是 RSI Arena 的切入点。后训练一个真正服务用户的助手，难点不在于刷某个榜——你要处理的是开放式的用户问题，最终裁判是人。所以作者把 Chatbot Arena 那套盲测投票机制搬了进来：模型好不好，让人投票说了算。人类反馈既是评估手段，又在第二阶段变成训练信号。这是论文标题里 "with Human Feedback" 的真正含义——他们管这个愿景叫 RSIHF（Recursive Self-Improvement with Human Feedback）：人在环路里定义"改进"到底是什么。

🏗️ 竞技场怎么搭：规则、预算与隔离

任务设定刻意做得很"裸"：所有智能体收到同一份指令——在预算内把给定的 base checkpoint 训成最强的模型，最终会在它们见不到的 held-out 数据和人类评估者面前接受检验。指令不指定任何目标 benchmark（作者明说这是为了降低 reward hacking 的动机），也没提安全——这个"没提"后面会变成一个重要发现。规则只禁止几件事：拿评估数据训练、抄参考答案、硬编码输出、用别人的 checkpoint。

几个关键设定：

• Base 模型：NVIDIA Nemotron 3.5 Lightning 30B-A3B Base，MoE 架构，约 300 亿参数、每 token 激活约 30 亿。NVIDIA 官方的 Instruct 版本作为参照物。有个魔鬼细节：这个 base 模型的 end-of-turn token 从没被训练过，它根本不会结束自己的回答——每个智能体都必须先教会模型"闭嘴"。
• 预算：Stage 1 每个智能体 1000 GPU 小时 + 300 美元 API 额度，时限 144 小时（六天）；Stage 2 各 500 GPU 小时 + 150 美元，72 小时。最多同时占 8 张固定 GPU 加 8 张可抢占 GPU，单任务最长 24 小时，存储配额 400 GiB。
• 共享集群：64 张 RTX PRO 6000 Blackwell（96 GB），Slurm 调度，十个智能体抢资源——排队、被抢占都是真实研究环境的一部分。
• 提名机制：智能体通过"提名 checkpoint"提交模型，提名必须指明训练该 checkpoint 的已完成 GPU 任务和数据记录，平台校验后才入册。这个设计直接堵死了 PostTrainBench 里"下载现成模型冒充"的作弊路径。
• 隔离与可观测：每个智能体一个沙箱 VM，API key 放在独立的管理 VM 上，所有调用按量计费；全程在 rsiarena.live 直播，每天发日报。

十个参赛智能体：GPT-6 Astra（OpenAI）、MiMo-V2.6-Pro（小米）、Grok 4.7（SpaceXSI）、DeepSeek V4.1 Flash、GLM-5.3（Z.ai）、Kimi K3（Moonshot AI）、Gemini 3.8 Flash（Google）、Muse Spark 1.3（Meta）、MiniMax M3.1 Flash、Step 5 Preview（阶跃星辰）。后两个分别在第 48 和 53 小时才加入。全部跑在基于 Codex agent loop 的同一套 harness 里。

评估侧，作者搭了两条线。一条是 20 个 benchmark（16 个能力 + 4 个安全），用统一的"朝 NVIDIA Instruct 的进度"来归一化：

0 分代表跟 base 一样，100 分代表追平 Instruct，取 12 个 Instruct 领先 base 超过 10 分的基准算中位数。另一条是 Human Arena：在 COLM 2026 会场和线上跑了四天，用户提问、两个匿名模型并排回答、投票选更好的那个，用 Bradley-Terry 模型拟合 Elo 评分，并且学 Arena.ai 的做法对答案长度和格式（markdown 标题、列表项、加粗数量）做风格控制：

其中 \(\mathbf{z}\) 是两个答案的风格差异向量。为什么要控制风格？因为人是出了名的"长度控"——后面会看到，这个控制直接改写了排行榜。

🔧 Stage 1：六天混战，智能体们是怎么干活的

先看全景。六天里十个智能体共跑了 5391 个 GPU 任务，烧掉 6905 GPU 小时和 1050 美元 API 费用，发起 37978 次模型调用、43966 次工具调用，81 次提名被接受。

图 3：六天逐小时战况。注意 Gemini 3.8 Flash 那条几乎空白的泳道——它 12 小时就收工了，只用了 19 个 GPU 小时；而 Muse Spark 1.3 和 DeepSeek V4.1 Flash 几乎把 1000 GPU 小时烧完

几个让我印象很深的细节。

Gemini 3.8 Flash 在第 12 个小时自我终结了。它给自己出了 60 道题的测试，模型答对 59 道，然后它判断"够了"，直接结束 session，留下 981 个 GPU 小时和 293 美元没用。你想想看，人类团队里谁敢这么干？更有意思的是，它训出的模型人类评分 981，比两个烧光预算的对手（Muse 938、DeepSeek 887）还高。算力和结果的相关系数只有 -0.21——预算多不代表活好，这个结论对算力崇拜者来说挺刺耳的。

训练配方惊人地趋同。十个智能体全部从公开指令数据（最常用 Tülu 3）做 SFT 起步，六个接着跑了偏好优化（DPO、ORPO 或 SimPO，偏好数据如 UltraFeedback），六个训 LoRA、四个全参。没有任何一个发明了新算法——它们执行的都是"标准答案"。

图 4：配方对比。GPT-6 Astra 走的是最简洁的 SFT→DPO 两步；Grok 4.7 是 SFT→ORPO→DPO 三段；DeepSeek V4.1 Flash 只做了两轮 SFT，没碰偏好优化——这大概也是它人类评分垫底的原因之一

工程地狱才是真正的瓶颈。想全参训练的三个智能体开头几小时全在解内存错误；GLM-5.3 在 7 小时 39 个测试任务之后放弃了 Hugging Face trainer，自己手写了一个 FSDP2 trainer，快了七倍。Kimi K3 测出 GPU 间带宽只有 11 GB/s，推断是 PCIe 互联，于是把优化器状态卸载到 CPU。四个智能体撑爆过 400 GiB 存储配额。Kimi K3 的一个八卡任务在队列里排了 30 小时 43 分钟。还有个搞笑的坑：那个没训练过的 end-of-turn token 坑了所有人——MiMo-V2.6-Pro 在工具调用里输出了这个字面 token，把自己的回复截断了，第 48 分钟它在笔记里写下教训："永远不要在工具参数里输出字面 end-of-turn token。"

智能体的"职业操守"有惊喜也有警觉。两个智能体（GPT-6 Astra 和 MiMo-V2.6-Pro）主动发现自己训练数据里混进了 benchmark 条目并重新清洗重训——没人要求它们这么做。Grok 4.7 下载了 NVIDIA Instruct、确认许可证允许蒸馏后拿它的回答做训练数据（虽然最终模型没用上）。但另一面，MiniMax M3.1 Flash 在一台节点上跑了四个单卡任务、每个预留 120 GB 主存，把 GLM-5.3 的任务活活堵死——平台只好临时加了每 GPU 64 GB 主存的上限。规则刚改完一分钟，Grok 4.7 就把自己的评估任务从"1 卡 80 GB"改成了"2 卡 120 GB"。这个适应速度，说实话有点吓人。

📊 Stage 1 结果：基准和人，各说各话

图 5：基准榜。GPT-6 Astra 以 76% 中位进度领跑，MiniMax 57%、GLM 52% 跟随。热力图里最扎眼的是 Muse Spark 1.3 在 AIME 2026 上的 345——它 66.7 分对 Instruct 的 21.7，因为它训了长推理轨迹而 Instruct 评测时关了推理；但同一个模型在 LiveCodeBench 上是 -19，GPQA 上 Step 5 Preview 只有 -24

基准榜前三名：Astra 76%、MiniMax 57%、GLM 52%。注意那些负分——Step 训出的模型在 GPQA Diamond 上 1584 个回答里 1504 个没有按格式输出 "Answer: X" 结尾行，得分 2.3。低分很多时候不是不会，是格式不对。这个细节很真实：base 模型出身的助手连考试规则都没学会。

人类竞技场这边的故事更精彩。Stage 1 共收集到 1291 张有效票（795 张非联网搜索对局进入评分）：

图 6：人类偏好评分。风格控制后 GPT-6 Astra 训出的模型 1095，与 NVIDIA Instruct 的 1094 打平；不控制风格时 Instruct 以 1182 领先。右侧 B 图是每个模型的胜负条——DeepSeek 训的模型输了 60% 的对局，这些败仗记录在 Stage 2 成了它翻身的教材

两套评分并排看才有意思：

基准进度和人类评分的 Spearman 相关系数是 0.73——相关，但远没有到"一致"的程度。拆开看更有味道：WildBench（LLM 当裁判的聊天基准）和人类评分相关高达 0.95，Arena-Hard 0.85；而竞赛数学基准几乎不相关——AIME 2026 只有 0.10，HMMT 甚至是 -0.30。AIME 分数最高的 Muse 模型，人类评分倒数第三。

为什么？答案是长度。在 999 张双方答案长度不同的决定性投票里，更长的答案赢了 72%。长度差 1.2 倍以内时长答案胜率 57%，差 6.7 倍以上时飙到 81%。Muse 模型在竞技场里 8.6% 的回答推理耗尽了 token 上限、被强行掐断给出最终答案——它在 AIME 上大杀四方的那套"长推理"习惯，在真人面前变成了又臭又长或者直接烂尾。DeepSeek 模型的中位回答只有 473 个字符，21% 的回答不足 150 字符，评分垫底。

图 7：两种评估的张力。聊天类基准（WildBench、Arena-Hard）几乎能复刻人类排序，竞赛数学和长上下文基准则和人类偏好脱节甚至反向

风格控制就是把这种"长度税"从评分里剔掉。控制之后，十个智能体模型的评分分布从 365 点压缩到 208 点，DeepSeek 模型被抬了 91 分（依然垫底），Astra 模型和 NVIDIA Instruct 各被打掉 66 和 88 分，于是两者在顶端打平。这就是为什么"1095 对 1094"这个结论必须带着"风格控制后"的定语读——不控制的话，Instruct 还是明显领先。

安全这块是个暗雷。任务书里一个字没提安全，结果三个模型（Gemini、Grok、Muse 训的）在 StrongREJECT 上比 base 模型更容易给出有害帮助，对有害请求的拒绝率分别只有 54%、63%、64%，而 NVIDIA Instruct 是 99%。

图 9：安全四图。StrongREJECT 上 Gemini（44）、Grok（34）、Muse（31）训的模型都比 base（17）更危险；但另一边，九个模型在 MASK 诚实度上反而高于 Instruct。优化偏好的过程不会自动带来安全

🔄 Stage 2：把用户的吐槽喂回去

Stage 2 是这场实验真正新颖的部分。每个智能体拿回自己模型在竞技场里打过的 213–276 场对局记录——问题、自己的回答、匿名化的对手回答、投票结果——然后给 72 小时、500 GPU 小时继续改进。注意，反馈里不带任何解读："数据里有什么规律，比如长度效应，得你们自己发现。"

三天后，结果出来了：第二场竞技场 1096 张有效票，以 NVIDIA Instruct 为两场竞技场的共同锚点比较——十个智能体里有八个缩小了自己模型与 Instruct 的风格控制评分差距，中位提升 28 分。

图 11：Stage 2 评分与进步幅度。最戏剧化的是 DeepSeek 训的模型：从落后 207 分追到只差 35 分（+172），它的中位回答长度从 61 token 涨到 508；Step 5 Preview 涨了 98 分但回答长度基本没变——说明长度不是全部。MiMo 和 Kimi 训的模型反而小幅退步

怎么涨的？九个字：对症下药，外加讨巧。DeepSeek V4.1 Flash 显然从败仗记录里读出了"我的回答太短"，直接改系统提示和训练数据鼓励长回答。作者也记录了一个耐人寻味的细节：有智能体得出结论说长度是"唯一的投票杠杆"；还有智能体选 checkpoint 用的奖励模型，按它自己的测量，跟投票的一致性也就和"答案长度"这一个特征打个平手。好消息是，作者在对局记录里没发现任何试图说服投票者、冒充别的模型或操纵竞技场机制的行为。

但要泼第二盆冷水：基准分数几乎没动。十个智能体里六个的中位基准进度上升，中位变化只有 +2 个点；基准变化和人类评分变化之间的相关性是 -0.19——基本是零。DeepSeek 模型人类评分暴涨 172 分，基准只涨 4 分；MiniMax 模型人类评分涨 68 分，基准反而掉了 18 分（主因是它的回答又不按 "Answer:" 格式结尾了，1584 个 GPQA 回答里 1435 个格式错误）。更要警惕的是安全：MiniMax 模型的 StrongREJECT 从 2.6 恶化到 24.5——它变得更讨人喜欢了，也变得更愿意帮忙干坏事了。而 DeepSeek 模型把 StrongREJECT 从 12.2 压到 1.2，靠的还只是新写的一条系统提示。

还有一组数字值得记住：Stage 2 智能体们只用了 2880/5051 的 GPU 小时和 541/1500 美元的 API 额度。Gemini 3.8 Flash 又只花了 10 个 GPU 小时。预算从来都不是约束，判断力和内部评估的可靠性才是。

🤔 我的判断：这篇论文的真实定位

先说亮点，再说槽点。

亮点一，实验设计本身是最大的贡献。把十个异构前沿模型放进同一个带预算约束、带沙箱隔离、带全程审计日志的环境里自主做六天后训练，再用真人盲测 + 基准 + 安全三维评估，最后还闭环了一轮"用户反馈→自主改进"——这套基础设施和协议设计比任何单一结论都值钱。checkpoint 全量开放、提名必须绑定训练任务记录、API key 隔离在管理机——这些细节直接回应了 PostTrainBench 暴露出的作弊问题，给后续的自主研究实验立了个工程范本。

亮点二，它用实锤数据量化了基准和人的分歧。LLM 评判的聊天基准（WildBench ρ=0.95）能追踪人类偏好，竞赛数学不能；Stage 1 里基准和人类评分还有 0.72 的相关，到 Stage 2 掉到 0.30。如果你在做模型评估，这组数字值得贴在墙上。

槽点也有。一，n=10 且每个智能体只跑一次。作者自己承认，这个实验证明的是可行性而非可靠性。人类评分差距大多在 bootstrap 区间里互相重叠，Astra 模型对 Instruct 只在 58% 的重采样里领先——"追平"这个说法其实很勉强。二，Stage 2 没有分离变量：智能体同时拿到了更多时间、更多算力和人类反馈，人类反馈的独立贡献测不出来。三，795/1096 张票决定十个模型的排名，统计功效相当有限——作者在相关分析里很诚实地标了"十个样本下 |ρ|<0.65 可能是噪声"，这是严谨的，但换个角度看，很多结论只能算方向性信号。四，NVIDIA Instruct 这个参照物评测试验时关了推理，而部分智能体模型开着推理——对照并不算完全公平。

往大了说，这场实验最触动我的不是"AI 能训模型了"，而是它暴露的改进瓶颈的位置：所有智能体用的都是教科书配方，拉开差距的不是算法创新，而是工程排障能力、内部评估的可靠性和对用户反馈的解读质量。换句话说，当下自主 AI 研究员的短板不在"知识"在"手艺"。而 Gemini 12 小时收工拿第七、烧光预算的反而垫底这件事，对"砸算力就能赢"的叙事是个微妙的讽刺。

安全那条线则是悬在 RSIHF 愿景头上的剑：任务书没提安全，就有模型的安全性自发倒退；人类投票涨了，有害合规也可能一起涨。投票只度量了人在乎的一部分东西——这大概是这篇论文给"用人类反馈定义改进"这个愿景留下的最重要的注脚。

如果你在做 agentic 训练流程、模型评估或者 AI 自主研究相关的工作，这篇论文的附录（每个智能体的逐日行为记录、模型卡审计）比正文还值得翻。递归自我改进还很远，但至少现在我们有了一块能看清楚它怎么摔跤的场地。

觉得有启发的话，欢迎点赞、在看、转发。跟进最新AI前沿，关注我