CUA-Master:让智能体走出自我复制,靠开放世界双循环持续变强

让 AI 操作电脑,最折磨人的往往不是它不会点按钮,而是训练数据越攒越多,它会的还是那几件事。更麻烦的是,让模型自己出题、自己答题、再拿这些经验训练自己,转上几轮以后,任务开始越来越像,错误也可能被一遍遍放大。

CUA-Master 盯上的正是这个封闭循环。它没有把“自我改进”理解成模型反复消化自己的经验,而是不断从教学视频里引入新工作流,再把这些工作流拆成可组合、可验证的能力零件。这个想法挺对我胃口:递归训练不该只是回收旧经验,还要持续获得外部新知识。

核心摘要:CUA-Master 用嵌套双循环连接开放世界数据、任务合成与模型训练。内层把教学视频变成种子任务,再拆成 primitive 组合出复杂任务;外层根据模型弱点调整下一轮数据。27B 模型在 OSWorld Verified、OSWorld 2.0、WeaveBench 和 Agents’ Last Exam 上分别得到 80.2、36.9、43.9、25.0。它不是四项榜单的全面冠军,真正值钱的是一套把数据多样性、难度控制、轨迹验证和失败重试串起来的工程体系。

论文信息

  • 标题:CUA-Master: Scaling Computer-use Agents through Open-World Recursive Improvements
  • arXiv:2611.03126,2026 年 11 月 2 日提交,v1
  • 作者:Xinlei Yu、Gen Li、Ji Zhao、Zhangquan Chen、Congcong Wang、Shuai Dong、Zelin Peng、Yuqi Xu、Hongrui Wu、Kaiwen Tuo、Cheng Yang、Kaituo Feng、Yifan Wu、Jiayi Zhang、Dongming Wu、Wenqi Shao、Jiaqi Wang、Xiangyu Yue
  • 公开署名机构:MMLab, CUHK;THU;HKUST(GZ);Explore Academy, JD
  • 论文:arXiv 页面
  • 资源:项目页|代码|模型

封闭自我改进,为什么会越转越窄

一个计算机使用智能体(Computer-use Agent,CUA)面对的不是单轮问答,而是一串带状态的操作:看屏幕、理解任务、点击或输入、检查结果,再决定下一步。任务可以形式化为指令、交互环境和验证器的三元组,最终是否成功由环境里的验证器判断,而不是看模型回答得像不像。

这条链路对数据有三个很实际的要求。

任务来源要广。只覆盖办公软件和浏览器,模型遇到 CAD、医学影像或开发工具就容易露怯。任务难度要可控。把一句“整理文件”改写得更长,不会自动变成长程任务。轨迹还要可验证。模型生成了一条看似合理的操作序列,不代表它真能在目标虚拟机里执行成功。

传统流水线通常是一次性的:造数据,训练,结束。新数据并不关心当前模型到底卡在哪。近些年的递归方法加入了反馈,却又常把模型自己的生成经验当作主要数据源。就像一个人只复盘自己已有的解法,熟练度可能提高,知识边界却未必扩大。

CUA-Master 因此把问题拆成两层:数据层要不断“引进新种子并放大”,系统层要让“模型弱点反过来决定下一轮引进什么”。

图1:CUA-Master-27B 与多类模型在四个计算机使用基准上的分数对比

图 1:四项分数放在一起看更准确。CUA-Master-27B 并非全面领先,但用 27B 参数进入了大模型和闭源模型所在的竞争区间;Agents’ Last Exam 报告 full-pass rate,同分时才比较平均得分。

双循环不是口号:内层造数据,外层改方向

这套框架最容易被“flywheel”这个词带偏。看图里的数据流,比记住名词更有用。

图2a:开放世界播种、自催化传播、模型训练与反馈组成的双循环

图 2a:上半部分从视频语料挖种子任务,并用视觉与语义双路径重建轨迹;下半部分把种子抽象成能力 primitive,组合任务后在真实环境执行。失败时回滚到快照,而不是从零重跑。模型评测再反馈到下一轮开放世界探索。

循环 输入 关键动作 输出 解决的问题
内层 Data Flywheel 教学视频、已有种子与轨迹 种子挖掘、双路径重建、primitive 组合、回滚重试 多样且可验证的任务与轨迹 数据同质、难度失控、采集失败
外层 World-Data-Model Flywheel 开放世界语料、当前模型的失败案例与 rollout 成功率 按能力缺口调整领域和难度,再训练与评测 下一轮更有针对性的数据分布 一次性训练缺乏反馈,封闭自改进缺少新知识

我觉得这里最关键的不是“循环”本身,而是循环里有外部入口。没有开放世界播种,它仍可能只是更复杂的自我蒸馏;有了这个入口,模型才有机会接触自己原本不会描述、也不会生成的工作流。

开放世界播种:视频不是轨迹,先变成任务种子

作者建立了一个分层应用 taxonomy,覆盖 8 个主领域、36 个子领域、650 多个应用,再用 “tutorial”“how to”“guide” 等操作导向关键词,从 YouTube、TikTok 和 Bilibili 检索教学视频。

图2c:八个领域中的代表性应用与真实工作流

图 2c:数据覆盖 Business & Administration、Creative Production、Daily Life、Data & Analytics、Engineering、Productivity、Science & Research、Developer Tools。图里能看到办公、创作、工程、科研和开发环境,而不是只围绕网页表单打转。

视频先按来源和标题去重,再经过元数据与噪声过滤,剔除推广、娱乐、语言学习以及只提到软件却没有演示操作的内容。Whisper-Large-v3 通过 Faster-Whisper 生成带时间戳的转写,强标注模型再结合抽帧画面,为视频打出 0 到 5 的 CUA 适配分,并判断是否有清晰、可重建的操作过程。

一个教程往往包含多个工作流,还夹着开场、广告和真人讲解。任务挖掘因此不是“一个视频生成一条指令”,而是找出时间上连续、可独立执行的片段,为每个片段写下目标。一个视频可以产出多个种子任务。

接下来才是难点:教学视频里说了“然后点击确定”,画面也发生了切换,但两者未必严格对齐。只靠语音识别,会漏掉没被口述的动作;只靠画面差分,又容易把鼠标晃动、动画或无关变化当成操作。

双路径重建把两类触发器对齐。语义路径从 “then”“next”“after that” 等连接词和 “click”“press”“drag” 等动作表达中找候选时间;视觉路径用 FFmpeg 检测明显的界面变化。只有时间差落在窗口 \(T\) 内的配对,才进入后续复核:

\[ \mathcal{C}=\left\{(t_i^{sem},t_j^{vis})\mid \lvert t_i^{sem}-t_j^{vis}\rvert\leq T\right\}. \]

标注模型再检查局部转写和动作前后帧,可以增删、拆分或合并候选边界,随后标注坐标、输入文本和按键,并做轨迹级去重与过滤。

说实话,这个设计没有特别神秘的算法,却很符合视频数据的脾气。语音告诉你在哪里可能发生了操作,画面负责确认操作真的改变了状态。两者相互约束,比单路径硬猜可靠得多。

自催化传播:把种子拆成能组合的“能力零件”

如果到视频重建就结束,这只是又一条 video-to-trajectory 流水线。CUA-Master 往前走了一步:把种子任务和轨迹拆成可复用 primitive。

每个 primitive 写成五元组:

\[ p_i=(u_i,a_i,\mathcal{P}_i,\mathcal{E}_i,\mathcal{V}_i), \]

其中 \(u_i\) 是应用,\(a_i\) 是可复用能力,\(\mathcal{P}_i\) 是执行前置条件,\(\mathcal{E}_i\) 是环境要求,\(\mathcal{V}_i\) 是验证器规范。语义等价的 primitive 会归一化去重,但前置条件、环境或验证逻辑不同的变体被保留。

有了这些零件,任务合成就不是自由改写一句话,而是带约束的组合。\(K\) 控制 primitive 数量,\(N\) 控制应用数量:\(N=1\) 是单应用任务,\(N>1\) 可以构造跨应用任务。组合前还要检查前置条件和环境状态是否兼容,同时合成任务级环境与验证器。

这个表示法挺漂亮。它把“更难”从修辞变成了两个可调旋钮,也把“可验证”提前写进数据结构,而不是任务生成后再临时找一个评判模型。

快照回滚:第 37 步错了,不必从第 1 步重来

长程 rollout 有一种很浪费的失败:前面几十步都正确,末尾误点一次,整条轨迹作废。CUA-Master 在稳定边界保存增量虚拟机快照,记录活动应用、窗口布局、相关文件和控制器元数据。

验证失败或执行低效时,检测器结合任务、轨迹、环境状态和验证器残差,估计最早的状态分叉步,并生成诊断反馈。环境回到该步之前的最近有效快照,策略保留正确前缀、丢弃问题后缀,带着反馈继续执行。反馈只描述观察到的失败或低效,不直接泄露标准动作答案。达到重试预算或验证通过后,只保留成功且更高效的分支。

这套机制既是在省时间,也是在保护数据一致性。失败后缀如果留在训练样本里,模型学到的可能就是状态与动作对不上的监督。

GUI 与 CLI 混合:不是备选接口,而是能力互补

CUA-Master 的原子动作空间同时包含 computer.click、computer.scroll、computer.type 等 GUI 操作和 shell.exec,也兼容 tool.call。鼠标坐标统一归一化到 \([0,1000]\)。GUI 的反馈主要是截图,CLI 则返回标准输出、错误流和执行状态。

图5:三条 GUI 与 CLI 交替执行的真实轨迹

图 5:三条任务分别用了 40、61、102 步。文档申请任务里 CLI 负责读取 DOCX 与处理长文本,GUI 负责网页表单;评分任务里 CLI 批量找文件和计算,GUI 检查表格;影像任务则在 FSLeyes 可视化与命令行处理之间反复切换。

这个设计很贴近真实工作。批量处理文件、结构化计算用 shell 通常更稳,视觉检查、图形界面交互又离不开 GUI。硬让模型全程点鼠标,有时只是为了满足 benchmark 的动作约束,并不代表更好的计算机使用方式。

消融数据更能说明问题。WeaveBench 上,混合模式得分 43.9,GUI-only 和 CLI-only 分别只有 6.6 和 11.5;混合模式相比 GUI-only 还少了 23.8% 的执行步数。Agents’ Last Exam 上,混合模式从 GUI-only 的 5.9 提到 25.0,步数减少 26.7%。OSWorld 2.0 上,混合模式保持相近分数的同时减少 43.8% 步数。

不过,这也给主结果提了个醒:WeaveBench 和 Agents’ Last Exam 的优势有相当一部分来自动作空间,而不能全部记在数据飞轮账上。论文单独做了混合动作消融,这个实验很有必要。

训练配方:递归的是数据闭环,不是无限接续权重

模型从 Qwen-3.5-27B 初始化。三轮 SFT 分别纳入 63K、38K、14K 个任务及对应轨迹,累计约 115K;RL 阶段再使用约 12K 个高质量任务,总数据量为 127K。

有个细节很容易被“recursive”掩盖:每轮 SFT 都从同一个基础检查点开始,在累积扩增的数据集上重新训练,而不是从上一轮权重继续训练。作者这样做是为了降低优化漂移。你想想看,递归主要发生在“评测弱点—补数据—重训”的系统层,不是无限制地对上一版模型做增量微调。

SFT 的收益趋于饱和后,末轮转向 RL。任务合成时生成的验证器直接提供结果奖励,不必再为每条轨迹人工标 reward。

项目 配置
训练硬件 16 个节点,每节点 8 张 NVIDIA H200 141GB
SFT AdamW,峰值学习率 \(5\times10^{-6}\),cosine schedule,warmup ratio 0.03,batch size 128
RL 算法 沿用并优化 ScaleCUA 的在线 RL,修改版 GRPO,结合 frontier sampling 与 visual context segmentation
RL 采样 每个任务在真实虚拟机中采样 8 条轨迹,用验证器奖励估计优势
RL 优化 AdamW,学习率 \(1\times10^{-6}\),batch size 64,每批最多 512 条采样轨迹
环境规模 支持 100 多种 CUA 环境,超过 2,000 个虚拟机并发

这也是论文很“硬”的一面:它不是只提出一个数据概念,而是真的把跨 Linux、Windows、macOS 的虚拟机池、环境描述、资源调度和版本化镜像都搭起来了。镜像通过移除应用、调整桌面布局等方式派生变体,每次 rollout 通常使用不可变基础镜像加一次性可写 overlay。

主实验:强项是均衡与效率,不是包揽第一

四个主基准里,OSWorld Verified 和 OSWorld 2.0 使用 GUI 模式,WeaveBench 和 Agents’ Last Exam 使用 GUI+CLI。除 Agents’ Last Exam 报 full-pass rate 外,其余报平均分。论文在相同环境配置、动作接口和评测标准下重测基线,除非另有说明。

方法 OSWorld Verified OSWorld 2.0 WeaveBench Agents’ Last Exam
Qwen-3.5-27B 54.6 0.8 13.5 1.3
UI-Mate-27B 77.6 24.0 18.3 13.2
Qwen-3.8-27B 81.2 36.5 14.1 19.1
Qwen-CUA-397B-A17B 84.0 43.6 35.1 21.1
Kimi-K3-2.8T-A104B 84.2 55.9 43.2 25.0
GPT-5.6-Sol 83.6 59.0 50.6 26.3
Claude-Opus-5 86.3 64.2 55.7 28.3
CUA-Master-27B 80.2 36.9 43.9 25.0

和同规模专用模型 UI-Mate-27B 比,CUA-Master 在四项上分别提高 2.6、12.9、25.6、11.8 个点。与 Qwen-CUA-397B-A17B 比,它在两个混合基准上更高,但 GUI-only 基准仍落后。这个对比比一句“媲美大模型”更有信息量。

看到 80.2 时我没有把它理解成 OSWorld Verified 新冠军,因为 Claude-Opus-5 是 86.3,Kimi-K3 是 84.2,Qwen-CUA 也有 84.0。论文自己的措辞也是 competitive,这个定位比较诚实。真正亮眼的是混合长程任务,以及执行成本。

在 OSWorld Verified 上,它平均每任务用 19.0 步、247K token、8 分钟得到 80.2。OSWorld 2.0 上,36.9 略高于 Qwen-3.8-27B 的 36.5,运行时间从 1 小时 28 分降到 1 小时 7 分,论文报告减少 24%。WeaveBench 上,它用 34 分钟得到 43.9,分数接近 GPT-5.6-Luna 的 44.0,后者用时 47 分钟。Agents’ Last Exam 上,它与 Kimi-K3、Qwen-3.8-Max 同为 25.0,用时 52 分钟,少约 34% 到 36%。

当然,wall-clock 会受部署方案和 API 速度影响。开源模型使用 H200 + vLLM,闭源模型走官方 API,时间对比适合看趋势,不适合当成严格的硬件无关结论。

跨平台与分领域表现

方法 WindowsAgentArena MacOSWorld MacAgentBench
Qwen-3.5-27B 40.7 30.4 44.3
Qwen-3.6-27B 47.4 40.7 55.3
Qwen-3.8-27B 54.4 39.2 56.6
EvoCUA-1.5-32B 56.0 37.8 36.6
Qwen-CUA-397B-A17B 50.4 42.0 65.3
UI-Mate-27B 63.2 37.1 45.5
CUA-Master-27B 56.2 43.0 59.9

跨平台结果也不是全赢:WindowsAgentArena 低于 UI-Mate,MacAgentBench 低于 Qwen-CUA,MacOSWorld 则是表内最高。它能迁移到不同操作系统,但“通用”还不等于每个平台都占优。

分领域结果更能暴露短板。WeaveBench 的 Web Frontend 和 Desktop OS 分别是 58.4、55.3,Design 与 Spatial/CAD 却只有 26.3、25.9。开放世界覆盖广,并没有自动解决专业软件里的精细空间操作。

数据飞轮到底有没有用

多样性:t-SNE 有覆盖证据,但不是完整证明

图7:不同 CUA 数据集的随机任务嵌入及 CUA-Master 任务分布

图 7:AgentNet、Video-CUA、ScaleCUA、WildGUI、CUA-Gym 和 ProCUA-SFT 各有相对集中的区域;空心圆表示的 CUA-Master 样本横跨多个已有分布,也落到一些稀疏区域。

这张图支持“覆盖更广”的判断,但我不会只凭 t-SNE 就接受“数据更好”。二维投影会丢失结构,覆盖空白区域也可能是新能力,也可能是噪声。更有说服力的是它是否与可执行任务、验证通过率和下游提升一起出现;论文至少把这几类证据都拿出来了,只是还缺一个更直接的多样性定量指标。

采集可靠性:越难,快照回滚越值钱

下表里的 \(K/N\) 分别表示 primitive 数和应用数。Baseline 使用朴素环境,在相同重试预算下从头重新 rollout;CUA-Master 则保留有效前缀并回滚。

K/N Baseline 成功率 CUA-Master 成功率
5 / 1 74.0% 95.4%
10 / 1 53.0% 89.1%
20 / 1 31.5% 83.7%
10 / 3 29.2% 62.3%
20 / 3 19.3% 56.9%
40 / 3 14.6% 49.8%
20 / 5 1.9% 32.8%
40 / 5 0.4% 24.4%
50 / 8 0.0% 18.7%

在 \(K=40,N=3\)、难度接近 Agents’ Last Exam 平均水平的设置下,成功率从 14.6% 到 49.8%。最难的 \(K=50,N=8\) 仍有 18.7%,baseline 则为 0。这里的价值不只是多收几条数据,而是让高难任务的数据产率没有彻底塌掉。

多轮迭代:SFT 扩能力,RL 冲高难任务

论文报告,连续训练迭代让四个基准都逐步提升,其中 OSWorld Verified 和 WeaveBench 累计增加超过 25 个点。SFT 在相对简单任务上的收益接近饱和后,末尾 RL 又让 OSWorld 2.0 和 Agents’ Last Exam 各提高约 15 个点。

另一个结果很有意思:更强的 annotator 会持续带来更高收益;用每轮自己的策略充当 annotator 也能改善,但幅度有限。

这既是证据,也是限制。它说明开放世界外部知识确实比单纯自生成更有增量,却也说明系统并没有摆脱强教师。所谓“自我改进”更准确的理解是模型参与反馈的递归数据工程,不是模型独立教会自己一切。

我的判断:最值得借鉴的是数据结构与恢复机制

我觉得 CUA-Master 的贡献不在某个新损失函数,而在三件事被接成了一条能跑的链路:真实工作流提供新意,primitive 提供可控组合,验证器与快照回滚提供可执行监督。很多 CUA 项目只拥有其中一段,拼起来以后,数据规模才不只是数量增长。

但有几个边界不能忽略。

训练与环境成本很高。16 个 8 卡 H200 节点、2,000 多虚拟机并发,不是普通团队能轻松复现的配置。快照机制降低的是单次失败成本,并没有消除基础设施门槛。

强 annotator 依赖也很现实。数据质量上限受教师模型影响,教师推理费用还会随着视频、轨迹和复核角色增加。论文附录把 annotator 分成评分、任务生成、动作复核、动作标注、轨迹验证、primitive 提取、任务合成和失败检测八种角色,这是一套多模型协作的数据工厂,不是轻量脚本。

评测结论也要按动作空间拆开看。混合 GUI+CLI 是 CUA-Master 的重要优势,所以混合基准的大幅领先不能全部归因于递归数据。主表、动作消融和采集消融放在一起,才接近完整因果图。

如果你在做自己的 Agent 数据管线,我最建议先借这两块:把任务样本写成包含前置条件、环境要求和验证器的结构化 primitive;给长程执行加快照与失败定位。开放世界视频可以稍后再接,但“可组合、可验证、可恢复”这三件事,越早进数据 schema,后面越少返工。

这篇论文没有证明智能体可以无限递归变强。它给出的是一个更克制的版本:持续引入外部世界的新经验,让每一轮训练有新鲜事可学,同时用执行反馈修补旧能力。对当前 CUA 来说,这比“让模型自己跟自己玩”靠谱得多。


觉得有启发的话,欢迎点赞、在看、转发。跟进最新AI前沿,关注我