AI 自己玩手机、玩电脑、操作网页浏览器……背后还只靠一个模型。
卷王字节 Seed 又把智能体带到了一个全新 level~
比如任务是酱紫的：
- 编写一个可以转换重量单位的函数。如果原始单位是千克，目标单位是克，并且要转换的值是 Mathilde Seigner（法国知名演员）被提名凯撒奖的次数加1，最终结果会是多少？
而通过一系列操作，Agent 仅用时 35s 就得出了答案为 4000 克。
这就是 Seed 最新发布的智能体 UI-TARS-2，它不止采用了 All in one 这样的原生设计，而且表现更是优于 Claude 和 OpenAI Agent 等竞争对手。
来看团队成员晒出的成绩单，不管是操作电脑/手机，还是使用浏览器、玩 15 款小游戏，其丝滑程度和完成率现在已经超越一众竞争对手，并进一步接近人类水平。
而且这里还透露了 UI-TARS-2 背后的关键秘诀：
- 一个通过多轮强化学习训练的原生 GUI 智能体
划重点，多轮强化学习。依靠这一技巧，UI-TARS-2 核心解决了“让 AI 自主操作图形界面（GUI）”的四大难题：
- 数据稀缺：以往方法需要上百万级高质量标注数据，成本极高，扩展困难。
- 环境割裂：不同任务（电脑、手机、网页、终端、游戏）通常要在不同框架里训练，无法统一。
- 能力单一：大多数智能体只能做 GUI 点击或终端命令，难以完成真实复杂任务。
- 训练不稳定：强化学习在 GUI 任务上容易出现奖励稀疏、策略崩溃，模型很难可靠收敛。
且看字节团队如何见招拆招——
针对四大难题打出“组合拳”
先来看 UI-TARS-2 的整体设计思路和框架。
其核心目标为：构建一个真正原生、通用、跨平台的 GUI 智能体，能在电脑、手机、网页、终端，甚至游戏里自主完成复杂任务。
为此，UI-TARS-2 架构主要包含下面这几个部分：
1、统一的 Agent 架构：以大语言模型为核心决策器（Planner），将自然语言指令→GUI/终端/工具操作，全部纳入一个通用执行循环，同时支持 GUI 点击、键盘输入、终端命令、API 调用等多种操作流。
2、多模态感知与环境交互：输入端整合屏幕截图（视觉）+文本上下文+历史操作轨迹，输出端可以是点击坐标、拖拽动作、命令行、甚至 API 请求，形成感知—决策—执行—反馈的完整闭环。
3、多轮强化学习：不依赖人工标注，而是通过环境反馈奖励优化策略，同时采用模拟环境（sandbox）+自动化任务生成，构建出“数据飞轮”，让模型能不断自我进化。
4、混合操作流（Hybrid Flows）：在一次任务轨迹中，智能体可以无缝组合 GUI 点击、终端命令和 API 调用。例如，在网页上找资料（GUI），处理数据（终端），再调用搜索 API（工具）。
下面这个让 UI-TARS-2 玩游戏的例子，很好地展示了这套框架的具体运作过程：
而基于这套框架，UI-TARS-2 逐一解决了智能体自主操作 GUI 面临的四大难题。
靠“数据飞轮”解决数据少的问题
为了打造数据飞轮，团队采用了以下策略：
1）冷启动：这一阶段主要是广泛收集原始数据，以及通过合成数据和人工标注来构建监督微调所需的原始高质量、任务针对性强的数据。
2）多轮迭代：有了数据之后，先让模型通过预训练学习更广泛的知识（如不同 GUI 操作流程、任务解决思路等），再使用高质量特定任务数据对模型进行优化，最后通过强化学习进行端到端优化。
在每轮迭代中，团队会使用拒绝采样（RFT）或交互标注生成新轨迹，这些轨迹记录了模型在执行任务过程中的推理、动作、环境状态以及反馈等信息，将其按质量筛选后，高质量的进微调数据集，低质量的进预训练数据集。
3）循环增强：然后模型用更新后的数据集重新训练，能力提升后又能生成更好的轨迹，形成“模型变好→数据变好→模型更好”的循环，不断解决数据稀缺问题。
用“多轮强化学习”让 AI 操作更稳
针对传统强化学习在 GUI 长周期任务中“奖励稀疏、优化不稳定、信用分配难” 的问题，团队从任务设计、奖励机制、训练流程三方面进行了优化。
如何进行任务奖励设计？团队先对任务类型进行拆分：
对可验证任务（如游戏得分、网页信息检索），用明确信号（成功/失败、LLM 对比答案打分）当奖励；
对模糊任务（如复杂 GUI 操作），训练 UI-TARS-2 自身作为“奖励模型”，根据轨迹和截图输出任务成功分数，保证奖励可靠。
确定了这一模式后，团队摒弃“等所有任务完成再训练”的模式，转而采用“异步 rollout”——
把模型推理环节单独拿出来，和实际执行过程分离，互不干扰；同时只要凑够最少需要的轨迹数量，就立刻用这些完成的轨迹开始训练，那些未完成的就留到下一轮。
等到训练时，团队还在 PPO 算法上进行了 3 处优化，从而让模型操作更稳，包括用“解耦 GAE”避免长序列价值估计偏差、用“不对称裁剪”鼓励模型尝试那些看似不常用、但可能有效的操作等。
打造“混合操作环境”突破界面限制
为解决纯 GUI 操作（仅鼠标/键盘）无法应对数据处理、软件开发等复杂工作流的问题，团队构建了“GUI+ 多工具”融合的交互环境：
不仅整合多操作流，比如在同一环境里，智能体既能做 GUI 基础操作（点击、输入、滚动网页/APP），又能直接调用终端命令（如用 Bash 处理文件）、调用 API，无需切换上下文。
还为其适配多场景载体，比如在云虚拟机里，内置文件系统、远程 VS Code、Jupyter 等工具；在浏览器沙箱里，也能关联终端功能，让操作覆盖“桌面-移动-游戏” 全场景。
建“统一沙盒平台”支撑大规模训练
针对传统环境“难复现、易崩溃、吞吐量低”的工程瓶颈，团队打造了兼容多载体的统一沙盒，保障百万级交互训练需求。
简单来说，这就是一个虚拟的模型训练场，支持智能体在里面大规模练习、试错和进化。
以下为一个浏览器沙盒的示意图，据此也能看到沙盒的大致运作方式：
优于 Claude 和 OpenAI Agent 等竞争对手
那么，UI-TARS-2 的实际表现如何呢？
根据介绍，UI-TARS-2 是团队基于 Seed-thinking-1.6（总参数 230B，含 532M 视觉编码器 + 23B 激活参数），经过多轮迭代训练而成。
在多个权威 GUI 测试里，比如 OSWorld（369 个 Windows/Ubuntu/macOS 任务）、WindowsAgentArena（150 个 Windows 任务）、TerminalBench（命令行任务）等，它的得分都比 Claude、OpenAI 的同类模型更高。
换句话说，在电脑、手机、浏览器操作上，UI-TARS-2 的表现明显更好。
而且在 15 款小游戏（比如 2048、拼图、迷宫）里，它的平均得分差不多是人类水平的 60%，比 OpenAI、Claude 的游戏 AI 强不少，有的游戏（如“Shapes”）甚至比人玩得还好。
即使面对一些更复杂的游戏测试（LMGame-Bench），它也能和 o3 打得有来有回。
当然了，它不光会点界面、玩游戏，还能干“查资料”、“写代码修 bug” 这样的活儿，而且成绩比只靠界面操作强很多。
总之，UI-TARS-2 无疑验证了多轮强化学习在智能体进化上的有效性。
论文：
