Video2GUI: Synthesizing Large-Scale Interaction Trajectories for Generalized GUI Agent PretrainingVideo2GUI：从海量网络视频合成大规模交互轨迹，用于通用GUI智能体预训练

GUI智能体训练长期受限于轨迹数据稀缺：人工标注成本高、模拟环境覆盖窄。本文提出Video2GUI，一个全自动流水线，直接从未标注的YouTube教程视频中筛选高质量内容并提取带精确坐标的GUI交互轨迹。流水线包含粗到细的视频过滤、基于VLM的轨迹抽取、动作空间坐标定位三个阶段。作者据此构建WildGUI数据集（5亿条视频元数据筛出1270万条轨迹、1500+应用），用它对Qwen2.5-VL、Mimo-VL做持续预训练，在GUI定位、离线与在线智能体评测上均取得5%~20%的稳定提升。

训练通用GUI智能体需要覆盖多平台、多应用的大规模交互轨迹，但现有数据集多依赖人工标注或受限模拟环境，规模有限、领域狭窄，难以支撑跨应用泛化。此前TongUI、VideoAgentTrek等尝试从网络视频挖掘GUI操作，但依赖前景-背景检测或逆动力学等低层视觉线索做短程推断，局限于单一平台，关键词检索也限制了覆盖面，难以做到互联网规模的自动化与跨平台统一。

关键贡献

• 提出Video2GUI，一个全自动、可规模化的框架，能从海量未标注网络视频中抽取高质量GUI交互轨迹。
• 构建WildGUI数据集，包含1270万条交互轨迹、1.245亿张截图，覆盖1500多个真实应用与网站，是目前最大的开源GUI预训练数据集。
• 设计粗到细的视频过滤策略，结合元信息分类与内容质量打分模型，在保证质量的同时把候选视频从5亿降到416万。
• 提出三段式GUI定位、动作预测、轨迹建模联合预训练目标，并通过消融实验验证各目标对不同能力的独立贡献。
• 在Qwen2.5-VL与Mimo-VL两种模型架构上验证，预训练后在GUI定位、离线智能体（AndroidControl、CAGUI）和在线智能体（OSWorld、AndroidWorld）评测上均取得一致提升，证明方法的通用性与可扩展性。

总体思路

Video2GUI 的目标是把互联网上未标注的教程视频，全自动转换成可直接用于训练的「指令-轨迹」对。整条流水线分三步：先用粗到细的过滤策略从5亿条视频元数据里筛出高质量GUI教程视频；再用视觉语言模型对筛出的视频做滑窗式轨迹抽取，得到任务指令、动作时间戳与低层描述；最后针对每个动作时间戳，从原始高分辨率视频里取多帧做空间定位，把动作精确映射到屏幕坐标。三阶段产出构成WildGUI数据集，再用三个互补的预训练目标联合训练GUI智能体。

粗到细视频过滤

直接处理数亿条原始视频的存储和算力成本过高，因此先用视频标题、描述、关键词等元信息做低成本粗筛：用DeepSeek-V3标注1万条样本的相关性标签，微调一个带分类头的轻量Qwen2.5-7B做规模化推理，把候选视频从5亿降到约2000万。粗筛无法判断视频内容本身的教学质量（例如软件宣传片、录制质量差），因此第二步引入全模态内容打分模型：用Gemini 3 Pro对20万小时抽样视频按主题相关性、讲解清晰度、录屏质量三个维度打分，再微调轻量的Qwen2.5-Omni做规模化打分，最终从2000万降到416万条视频，约30万小时高质量内容。

轨迹抽取

给定一段视频 $V$，目标是抽取一组指令-轨迹对：

$$\mathcal{D}(V) = \{ (u^{(k)}, e^{(k)}) \}_{k=1}^N$$

直接用Gemini-3-Pro作为标注模型。由于长视频超出模型上下文窗口，采用带历史记忆的滑动窗口策略：每次输入不超过4分钟的片段，处理第 $j$ 段时同时把前面所有片段已抽取的结果 $\mathcal{D}(S_{1:j-1})$ 作为文本上下文喂入，使模型能跨片段边界识别任务、依赖此前的操作历史。这与TongUI的前景-背景检测、VideoAgentTrek的逆动力学等只依赖低层视觉线索、只做短程推断的方法不同，VLM驱动的方式能做长程推理，捕捉动作背后的真实意图。

动作空间定位

视频在长上下文处理前会被压缩，分辨率不足以支撑像素级定位，因此单独设计一个高分辨率定位阶段。对每个抽取到的动作时间戳 $t$，从原始视频取一个三帧组 $O_t = \{o_{t-0.5s}, o_t, o_{t+0.5s}\}$（时间偏移0.5秒大致对应单次GUI操作的平均耗时），让Gemini-3-Pro依据低层指令逐帧判断能否定位、并预测具体的边界框或坐标：

$$b_t = g_\phi(o_{t-0.5s}, o_t, o_{t+0.5s}, \tau_t)$$

三帧中选第一个成功产出有效定位结果的帧作为最终输出。这种多帧候选机制是为了应对GUI交互高频切换导致的画面突变——单一帧可能恰好处于状态切换的模糊过渡点，而三帧候选大幅提高了定位命中率（人工抽检200个动作，95%以上定位准确）。

三段式预训练目标

预训练阶段设计三个互补任务并联合优化：(i) GUI定位——根据描述预测目标UI元素的坐标或边界框；(ii) GUI动作预测——给定单张截图 $o_t$ 与任务级指令 $u$，预测下一步动作；(iii) GUI轨迹建模——按时间顺序对多轮截图与交互历史自回归地预测动作序列，损失只算在文本token上。总的预训练目标为三者之和：

$$\mathcal{L}_{\text{pretrain}} = \mathcal{L}_{\text{ground}} + \mathcal{L}_{\text{action}} + \mathcal{L}_{\text{traj}}$$

三个目标分别对应不同能力：定位损失负责精确的空间锚定，动作损失负责单步决策，轨迹损失负责多轮上下文中的目标状态追踪——消融实验显示去掉轨迹损失会让静态指标基本不变但在线长程任务AndroidWorld大幅下降，说明三者并非冗余，而是分工明确、缺一不可。

两阶段智能体训练

第一阶段在WildGUI上做约2000亿token的持续预训练，赋予模型广泛的跨应用GUI知识；第二阶段在精选的开源数据上做3个epoch（约150亿token）的后训练，用更干净精确的人工监督信号收敛策略、提升特定下游任务表现。两阶段缺一不可：去掉第二阶段会导致所有指标灾难性下降（AndroidWorld仅6.0%），说明大规模离线预训练提供的是「广而不精」的基础能力，仍需高质量后训练做对齐。

小结

Video2GUI 的关键不是某个单一模型，而是一条把「粗筛-精标-定位」层层解耦、让廉价模型做粗筛、昂贵VLM只用在必要环节的规模化流水线设计，使得从互联网视频中挖掘千万级、跨平台、带精确坐标的GUI轨迹成为可能。

评测覆盖GUI定位（ScreenSpot-Pro、OSWorld-G）、离线智能体（AndroidControl、CAGUI）、在线智能体（OSWorld、AndroidWorld），基座为Qwen2.5-VL-7B与Mimo-VL-7B。经WildGUI预训练后几乎所有基准一致提升，消融证实三个预训练目标各司其职。

关键数据

Video2GUI把GUI智能体的数据获取从「人工标注/受限模拟环境」转向「互联网视频规模化自动挖掘」，是继TongUI、VideoAgentTrek等视频转轨迹工作后向更大规模、更细粒度定位迈进的一步。开源发布的WildGUI为后续GUI基础模型的持续预训练提供了数量级更大的语料，也为「先离线预训练再在线强化学习」的两阶段范式提供了实证支持。

局限与不足

该流水线的标注质量高度依赖闭源模型（DeepSeek-V3、Gemini 3 Pro/Gemini-3-Pro）的判断能力和API成本，可复现性和长期可持续性受制于第三方模型的可用性与定价，论文未给出完整的成本核算之外的独立开源标注方案。轨迹抽取与空间定位均基于视频压缩后的画面推断，虽然通过多帧候选和人工抽检（200个样本、95%+准确率）验证了局部可靠性，但抽检规模较小，未在全量数据上做系统性质量审计，标注噪声的整体分布仍不明确。数据来源集中于YouTube教程视频，天然偏向「有讲解意愿、常见热门应用」的场景，对小众应用、企业内部软件、非教学类真实使用场景的覆盖可能不足。此外，WildGUI本质上是离线的、非交互式的人类示范轨迹，模型学到的是「模仿观察到的操作序列」，而不是在真实环境中试错纠错，这也是论文强调后续仍需结合在线强化学习的原因。