EvoCUA-1.5: Computer Use Agent在线强化学习

<aside> 💡

English version refers to EvoCUA-1.5: Online RL for Multi-Turn Computer Use Agent

</aside>

TLDR

Computer Use Agent研究背景

Claude Code、OpenAI Codex 等具备目标解读、任务拆解、工具执行、中间结果检查以及多步骤计划修订能力的智能体系统的出现，重新激发了人们对一类更广泛的通用智能体——计算机使用智能体（Computer-Use Agent, CUA）——的兴趣。一个真正胜任的 CUA 必须能够端到端地操作一个通用计算环境：感知屏幕状态、与那些没有便捷编程接口的应用程序进行交互、在适当的时候调用工具或执行命令，并在整个任务过程中对动态、且往往只能局部观测的状态进行推理。

在真实的工作流程中，这要求的不仅是孤立的技能。CUA 必须在整个任务过程中维持单一、一致的任务状态，同时根据任务需要，在不同的交互方式之间灵活切换——包括对界面的直接操作、结构化查询，以及多步骤的工具调用。真正区分通用 CUA 与狭义的、面向特定任务系统的，正是这种整合能力，而不是任何单一的交互渠道。

训练这类智能体具有挑战性，因为环境的状态空间极为庞大，反馈也往往是异构的、延迟的，甚至是稀疏的。一种常见的策略是基于离线收集的轨迹进行优化。离线轨迹固然有价值，但其覆盖范围必然有限。由此产生的策略容易集中于数据集所代表的局部分布，一旦界面发生变化、出现意外的弹窗，或任务进入演示数据中未曾出现的长尾状态，模型就可能表现不佳。

在线强化学习提供了一条不同的路径。智能体使用当前策略与环境进行交互，获得可验证的反馈，并基于其实际遇到的状态进行自我更新。这对于 CUA 任务尤其具有吸引力，因为成功的行为往往需要探索、错误恢复以及反复调整。然而，正是这些使在线强化学习具有吸引力的特性，也使其实施变得困难：一次完整的轨迹可能涉及数十甚至数百次环境交互；奖励通常只在最终才返回；一次错误的动作就可能使整条长轨迹失效；此外，训练所使用的表示方式还依赖于推理阶段所采用的上下文管理策略。

EvoCUA 完成了基于离线自身经验的自进化，EvoCUA-1.5 在此基础上进一步引入 online RL，将自进化延伸到在线交互的场景中。这一版仍基于较早期的 Qwen3-VL 迭代，与最新基座存在天然差距，因此我们并不追求榜单分数的对齐，更希望借这一轮迭代，沉淀 online RL 的关键认知。

Computer Use Agent形式化定义

在介绍 CUA 的Online RL之前，先给出一个形式化定义，便于不了解该领域的读者后续阅读。

给定自然语言指令 $g$，交互过程被建模为一个元组 $(S, A, Z, O, P, R_{syn})$，分别代表状态空间、动作空间、思维空间、观测、状态转移函数和奖励函数。具体细节如下：

状态空间 ($S$)：环境由底层的计算机系统状态 $s_t \in S$ 建模，其中包括应用程序状态、系统配置和隐式的系统级上下文。该状态对智能体并非直接可见。相反，智能体感知从该状态渲染而来的视觉观测值 $I_t \triangleq \text{Render}(s_t) \in \mathbb{R}^{H \times W \times 3}$，对应于 $t$ 时刻的屏幕图像。$H$, $W$分别表示截图的高度和宽度。渲染后的截图 $I_t$ 是智能体观察环境的唯一感知接口。
观测 ($O$)：在时间步 $t$，智能体接收到一个原始视觉观测 $o_t \in O$，其中 $o_t \triangleq I_t \in \mathbb{R}^{H \times W \times 3}$。为了解决部分可观测性问题，通常定义交互历史 $h_t = \{g, o_0, z_0, a_0, \dots, o_{t-1}, z_{t-1}, a_{t-1}\}$，作为智能体决策的上下文环境。
动作空间 ($A$)：动作空间 $A$涵盖了基于坐标的鼠标事件 $A_{mouse}$、键盘输入 $A_{keyboard}$ 以及用于管理任务执行流的特殊控制原语 $A_{control}$。形式上定义 $A = A_{mouse} \cup A_{keyboard} \cup A_{control}$。
思维空间 ($Z$)：我们将推理过程显式地建模为内部思维空间 $Z$。在每一步 $t$ ，智能体在采取行动前会生成一段自然语言推理轨迹 $z_t \in Z$。它作为智能体内部的中间认知状态，用于将后续的物理动作锚定在当前的视觉上下文之中。
策略 ($\pi_\theta$)：智能体遵循参数化策略 $\pi_\theta(z_t, a_t | h_t, o_t)$，该策略同时支配推理和动作的选择。在每一步 $t$，策略首先根据当前的交互上下文生成推理轨迹 $z_t$，随后根据生成的推理选择一个可执行动作 $a_t$。这种顺序生成机制确保了动作的执行是以显式推理为前提条件的。
状态转移函数 ($P$)：环境状态根据状态转移内核 $P(s_{t+1} | s_t, a_t)$ 进行演化，该内核捕捉了底层计算机系统对所执行物理动作 $a_t$ 的响应。给定更新后的状态 $s_{t+1}$，随后的视觉观测渲染为 $I_{t+1} = \text{Render}(s_{t+1})$。