以通用关键帧提取衔接视频问答与视频引导的智能体任务 · Bridging VideoQA and Video-Guided Agentic Tasks via Generalized Keyframe Extraction

原文摘要 · English Abstract

Video understanding is a fundamental capability for multimodal intelligence, and recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance on Video Question Answering (VideoQA) benchmarks. However, existing benchmarks primarily evaluate whether models can perceive shallow visual cues, while rarely examining whether MLLMs can learn deeper knowledge or procedural skills from video tutorials and generalize them to downstream long-horizon agentic tasks. To address this gap, we introduce VG-GUI-Bench (Video-Guided GUI Benchmark), a new benchmark designed to evaluate whether MLLM-based GUI agents can follow video tutorials to complete corresponding GUI interactive tasks. Furthermore, we observe that the performance of models on both VideoQA and video-guided agentic tasks critically depends on effective keyframe extraction. Based on this observation, we propose TASKER (Task-driven And Scene-aware Keyframe searchER), a keyframe extraction algorithm that jointly considers task relevance and scene dynamics to identify informative frames. Experimental results demonstrate that TASKER achieves significant performance improvements on both VideoQA and video-guided agentic task benchmarks, outperforming the best baseline by 2.0% on EgoSchema while using substantially fewer frames. Our code and data are available at https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.

概要

现有 VideoQA 基准多只考察浅层视觉感知，很少检验模型能否从教程视频学到步骤知识并迁移到长程智能体任务。作者提出「VideoQA / 视频引导智能体任务」两级分类，并建立 VG-GUI-Bench，把教程视频与 GUI 操作任务成对绑定评测知识迁移。进一步发现两类任务都受限于同一瓶颈：能否挑出任务相关关键帧。据此提出 TASKER，把关键帧提取形式化为图搜索问题，用 MLLM 充当代价函数与终止判据，在两类任务上都取得更高精度、更少帧数的收益。

VideoQA 基准近年被 MLLM 刷得很高，但题目多只需识别物体、属性与短时动作，无法反映模型能否从教程视频学会「怎么做」并迁移新场景。视频引导的 GUI 智能体虽能从教程视频获取操作知识，却缺少长程专门基准，相关工作也多聚焦「视频转轨迹」，很少讨论帧选择本身。长视频里关键证据常只出现在极短片段，VideoTree、VideoAgent 等已有关键帧方法要么需预计算全部帧特征，要么未显式建模场景转换，选帧效果和效率仍有改进空间。

关键贡献

指出现有视频基准止步于浅层感知评测的局限，提出连接 VideoQA 与视频引导智能体任务的两级分类体系，明确「视频上下文学习」这一能力缺口。
构建 VG-GUI-Bench 基准，将教程视频与语义相关的 GUI 交互任务成对绑定，共 1000 条测试样例、平均每回合 10.71 步，用于系统评测程序性知识迁移能力。
定义统一的六类动作空间（CLICK、SCROLL、TYPE、PRESS、ZOOM、FINISH）及配套的准确率、完成率、效率、性能提升率四项互补指标。
提出 TASKER 算法，将关键帧搜索建模为树形图搜索问题，设计任务驱动与场景感知两类代价函数，并给出 GBFS/Dijkstra/A*/BFS 四种可切换变体。
在 EgoSchema、NExT-QA 与 VG-GUI-Bench 上验证 TASKER 同时提升准确率并降低所需帧数，训练自由、零样本即可超越多个训练式基线。

方法详解（完整做法）

总体思路

TASKER 把「挑关键帧」这件事，从一次性采样问题重新表述为经典图搜索问题：视频被建模成一棵可展开的树，每个节点代表一段视频区间，搜索从粗到细地展开区间，直到 MLLM 认为已收集到足够回答问题或执行动作的信息为止。整个流程分三部分：VG-GUI-Bench 提供「教程视频 + GUI 任务」的成对评测数据与统一动作空间；TASKER 定义节点、可见帧与代价函数，驱动树的展开；终止条件用两种独立的置信度估计做投票，决定何时停止搜索并输出关键帧与答案。

VG-GUI-Bench：视频教程到 GUI 操作的基准构建

数据来自 MONDAY 数据集提供的教程视频、真实动作序列与关键帧截图，平均每回合 10.71 步，共 1000 条测试样例，构成真正需要长程推理的基准。动作空间统一为六类： $\texttt{CLICK}(x,y)$ 、 $\texttt{SCROLL}(x_1,y_1,x_2,y_2)$ 、 $\texttt{TYPE(content)}$ 、 $\texttt{PRESS(key)}$ 、 $\texttt{ZOOM()}$ 、 $\texttt{FINISH()}$ 。评测时先由帧选择模块从教程视频中抽取关键帧，与任务指令一起构造提示词输入 MLLM 预测下一步动作，动作在 GUI 环境里执行后进入新状态，如此循环直至回合结束，再与真值动作序列比对打分。准确率的定义综合了动作类型与参数是否正确：

$\text{Acc.} = \frac{1}{N}\sum_{i=1}^{N}\mathbbm{1}\left(\hat{t}_i = t_i\right)\left(0.3 + 0.7\times\mathbbm{1}\left(\hat{a}_i = a_i\right)\right)$

此外还定义了逐回合完成率 Comp.（正确执行步数占比）、效率 Eff.（每步平均消耗帧数），以及衡量「模型能从视频学到多少」的性能提升率：

$\text{PIR} = \frac{\text{Acc}_{\text{video}} - \text{Acc}_{\text{no video}}}{\text{Acc}_{\text{no video}}}$

关键帧搜索的树形建模

初始节点 $\mathcal{N}_0$ 是整段视频，先均匀切分成 $M$ 个子段放入开放列表 $\mathcal{L}$ ；每轮根据代价函数 $f(n)$ 选出待展开的子段，对其做二分切分（论文特意不引入 DFS 变体，因为深度优先容易陷入局部最优、且缺乏明确终止条件）。所有当前子段的首尾帧被定义为「可见帧」 $\mathcal{F}_v$ ——相邻子段的尾帧与首帧相连，其余帧暂不可见。MLLM 只基于可见帧预测答案或动作，随着树不断展开，可见帧集合逐步逼近真正需要的关键证据。

任务驱动与场景感知的代价函数

TASKER 提供四种可切换的搜索策略，对应经典图搜索算法的不同代价函数设计。GBFS 变体让 MLLM 判断「回答问题还缺什么视觉信息」，把缺失信息可能所在的两帧之间的区间视为距离终点更近的节点，对应启发式代价 $h(n)$ ；Dijkstra 变体不考虑任务目标，而是让 MLLM 评估哪个子段首尾帧之间场景变化最大（转场、人物、活动等），场景变化越大代价 $g(n)$ 越小、越优先展开；A* 变体把两者结合，只有同时满足「可能包含缺失信息」与「场景变化显著」的子段才会被优先展开：

$f(n) = h(n) + g(n)$

这样设计的原因是：单纯任务驱动（GBFS）容易被 MLLM 的错误预判带偏，单纯场景驱动（Dijkstra）又可能展开与问题无关但画面变化剧烈的片段；两者相加后既能对齐任务语义，又不会漏掉结构上的关键转折点，消融实验也验证了 A* 在准确率上显著优于单一代价函数的变体。此外还设计了无需 MLLM 参与的 TASKER-BFS，逐层展开全部子段，适用于无法调用 MLLM 或更看重不遗漏信息的场景。

终止条件：自评估与时序摘要的投票机制

传统图搜索的终止条件是「是否到达目标节点」，但关键帧搜索中很难判断信息是否已经收集充分。TASKER 借助 MLLM 的自我反思能力设计了两路独立的置信度估计：一是把问题、可见帧信息与此前的推理链和答案重新喂回模型，让其自评当前答案的可靠性，得到置信度 $c_1$ ；二是先用少样本示例引导 MLLM 把离散帧的字幕整合成一段连贯的视频摘要，再基于摘要预测答案与置信度 $c_2$ ，从而在完整时序语境而非孤立帧上做判断。只有当 $c_1 \geq C$ 且 $c_2 \geq C$ （ $C$ 为阈值）同时满足时，搜索才终止——用两种视角的一致确认取代单一、可能被误判带偏的置信度。

帧校验与冗余剔除

每次展开新节点后，新暴露出的帧要先与已有可见帧比对是否视觉冗余，再由 MLLM 判断与任务是否相关；冗余或不相关的帧会被丢弃，并尝试在附近搜索可替代的相关帧，若一个子段反复只产出冗余帧，则被加入冻结集合 $\mathcal{S}_{\text{frozen}}$ ，此后不再重复展开。这一步是 TASKER 相比朴素逐层展开（BFS）能在更少帧数下取得更高精度的关键机制之一。

小结

TASKER 的核心是把「选关键帧」重新表述为带任务感知代价函数的树形图搜索，用 MLLM 同时充当代价评估者与终止判据的裁判，从而在 VideoQA 与视频引导 GUI 任务这两类此前分开研究的问题上，用同一套训练自由的机制取得了「精度更高、帧数更少」的一致收益。

实验与关键数据

实验在 EgoSchema、NExT-QA 与新提出的 VG-GUI-Bench 上进行，搭配 GPT-4、GPT-4o、Qwen3-VL 作骨干。结论：TASKER 在两类任务上均优于 VideoTree、VideoAgent 等关键帧基线，且帧数更少；消融显示 A* 变体综合两种代价函数最优。

关键数据

EgoSchema Full 准确率（GPT-4）

63.1%

vs VideoTree 61.1%（+2.0）

NExT-QA 平均准确率（GPT-4）

77.4%

vs VideoTree 75.6%（+1.8）

VG-GUI-Bench Overall Acc.（TASKER-A*，Qwen3-VL）

40.96%

vs VideoTree 40.79%（+0.17）

EgoSchema 子集准确率（搜索算法消融，TASKER-A*）

68.0%

vs TASKER-BFS 64.7%（+3.3）

EgoSchema 子集可见帧数（搜索算法消融，TASKER-A*）

27.9帧

vs TASKER-BFS 31.2帧（-3.3，帧效率更高）

影响与局限

该工作把关键帧选择这一此前分散在不同论文里的工程细节，统一成一个可解释的图搜索框架，并证明它能同时服务视频问答与视频引导的 GUI 智能体两条此前割裂的研究线。VG-GUI-Bench 为「视频教程到长程 GUI 操作」这一新兴任务方向提供了可复用的评测基座，TASKER 的训练自由特性也降低了后续工作在该基准上迭代的门槛。

局限与不足

TASKER 的每一步展开、置信度评估都依赖多次 MLLM 调用（代价函数评估、自评估、摘要生成），相比均匀采样这类零推理开销的基线，实际推理延迟与调用次数更高，论文主要以「所需帧数更少」来体现效率优势，但未充分讨论端到端墙钟时间与 API 成本；置信度终止机制完全依赖 MLLM 自身的自评估与摘要能力，若基座模型自评能力较弱或存在系统性过度自信/保守，搜索可能过早终止或过度展开，论文虽做了 GBFS/Dijkstra/A*/BFS 与终止条件的消融，但未评估该机制在更弱开源模型上的鲁棒性；VG-GUI-Bench 建立在 MONDAY 数据集的移动端 GUI 任务之上，场景覆盖面（应用类型、操作系统、语言）相对有限，TASKER 在桌面级 OSWorld 等更复杂智能体环境上的效果仅在附录中做了初步验证，尚未成为主结果的一部分；此外 Oracle Keyframe 基线暴露出模型在有精确视觉标注时会退化为「照抄画面」而完全丧失 TYPE、PRESS 等无法从画面直接复制的动作能力，TASKER 是否能规避这种视觉捷径依赖尚需更细致的分析。