VisionCoach：通过视觉感知提示强化具身视频推理 · VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting

原文摘要 · English Abstract

Video reasoning requires models to locate and track question-relevant evidence across frames. While reinforcement learning (RL) with verifiable rewards improves accuracy, it still struggles to achieve reliable spatio-temporal grounding during the reasoning process. Moreover, improving grounding typically relies on scaled training data or inference-time perception tools, which increases annotation cost or computational cost. To address this challenge, we propose VisionCoach, an input-adaptive RL framework that improves spatio-temporal grounding through visual prompting as training-time guidance. During RL training, visual prompts are selectively applied to challenging inputs to amplify question-relevant evidence and suppress distractors. The model then internalizes these improvements through self-distillation, enabling grounded reasoning directly on raw videos without visual prompting at inference. VisionCoach consists of two components: (1) Visual Prompt Selector, which predicts appropriate prompt types conditioned on the video and question, and (2) Spatio-Temporal Reasoner, optimized with RL under visual prompt guidance and object-aware grounding rewards that enforce object identity consistency and multi-region bounding-box IoU. Extensive experiments demonstrate that VisionCoach achieves state-of-the-art performance across diverse video reasoning, video understanding, and temporal grounding benchmarks (V-STAR, VideoMME, World-Sense, VideoMMU, PerceptionTest, and Charades-STA), while maintaining a single efficient inference pathway without external tools. Our results highlight the effectiveness of training-time visual prompting as a lightweight mechanism for improving grounded video reasoning.

概要

视频推理要求模型在跨帧时序中定位并追踪与问题相关的证据，但现有方法要么只用语言先验、脱离真实画面，要么在推理时依赖外部裁剪、放大等感知工具——前者易幻觉，后者带来巨大计算开销。为此 VisionCoach 把视觉提示当作「训练时的教练」：RL 训练中对困难样本先由选择性提示器施加暗化、红圈、逐帧编号等像素级提示，放大问题相关证据、抑制干扰，再用自蒸馏把提示带来的收益写回策略本身。最终推理时对原始视频单次前向即可，不依赖任何外部模块，并在多个推理、理解与时序定位基准上取得领先结果。

视频推理主流分两类：文本中心模型把问题当纯语言任务，答案常由语言先验驱动而非真实画面；工具调用型模型推理时反复裁剪、放大，虽能取到证据，但定位能力停留在外部模块上，模型自身没有内化感知，且逐例调用抬高延迟。更近的具身推理模型尝试把定位与推理塞进单模型，但因缺少「中间推理步骤与时空证据对齐」的机制，仍频繁产生错误对象引用与幻觉包围盒。改进定位通常要么堆密集标注，要么加推理时工具，成本都很高，因此作者转向训练时的感知引导。

关键贡献

提出输入自适应的 RL 框架，用训练时视觉提示与自蒸馏显式引导时空定位，推理时无需任何提示即可内化具身感知。
设计对象感知的空间定位奖励，联合约束对象身份一致性与多区域包围盒平均 IoU，修正了只取单框导致的幻觉。
引入基于代理推理器的视觉提示数据构造管线，训练轻量选择器为给定视频-问题对预测最合适的提示类型。
在 V-STAR、VideoMME、WorldSense、VideoMMU、PerceptionTest、Charades-STA、HCSTVG 上取得领先结果并保持无工具的单路径高效推理。

方法详解（完整做法）

总体思路

视频推理的核心是让模型在时间与空间两个维度上「找到证据再作答」。VisionCoach 把视觉提示当作训练阶段的教练：对困难样本，先用轻量选择器挑出合适的像素级提示（暗化、红圈、逐帧编号等）施加到关键帧上，放大问题相关证据、压掉无关干扰，再用这份提示输入去做强化学习 rollout、拿到定位更好的推理轨迹，最后通过自蒸馏把「被提示带出来」的能力写回策略参数。推理时不再需要任何提示，原始视频单次前向即可。

问题动机与难题判定

作者在 PerceptionTest 子集上的观察显示：回答正确的样本，其时间对齐、对象身份匹配与空间 IoU 系统性地高于回答错误的样本——定位质量与作答正确性强相关。于是用「平均奖励」当难度信号：对输入 $(x_i,q_i)$ 先采样 $G$ 条轨迹得到奖励集 $\{R_i^{(g)}\}$ ，若其均值 $\bar{R}_i<k$ 则判定为困难样本，才启动后续提示引导。这种按样本自适应的筛选，让提示只用在最需要它的地方。

视觉提示选择器

定义候选提示池 $\mathcal{V}=\{v_1,v_2,\dots\}$ （红圈、注意力提示、逐帧编号、暗化）。难点在于没有「金标准提示」可用，于是用多个代理推理器 $\mathcal{R}$ 对每个候选施加提示后分别推理，得到该候选下的作答正确率 $A_k$ 与定位分数 $G_k$ ，跨代理取平均后挑最优： $v_i=\arg\max_{v_k\in\mathcal{V}}\,(A_k+G_k)$ 所得 $(x,q,v_i)$ 对构成训练集，把选择器当作一个 $|\mathcal{V}|$ 路分类的轻量 VLM，用 LoRA 微调、预测提示标签，接入 RL 时保持冻结。为什么这么做：提示该红圈还是暗化，取决于问题问什么、注意力焦点在哪儿，手写规则永远匹配不上输入变化——所以让模型从「哪个提示真的提升了代理推理器的表现」里学会自适应选提示。

视觉提示引导与自蒸馏

对困难样本，选择器给出提示 $v_i$ ，施加到关键帧得 $x_i'$ ，并在原问题后追加一句描述该提示的文字 hint 得 $q_i'$ 。用提示输入 $(x_i',q_i')$ 再做 $G$ 条 rollout，取其中整体奖励超过原均值 $\bar{R}_i$ 的候选子集 $C_i=\{g\mid R_i'^{(g)}>\bar{R}_i\}$ ，再按作答奖励挑出 top-N，对这些轨迹做 token 级负对数似然： $\mathcal{L}_{\mathrm{SD}}(\theta)=-\frac{1}{|S_i|}\sum_{j\in S_i}\frac{1}{|y'_{i,j}|}\sum_{t=1}^{|y'_{i,j}|}\log\pi_\theta\big(y'_{i,j,t}\mid y'_{i,j,<t},x_i',q_i'\big)$ 总目标为 $\mathcal{L}_{\mathrm{GSPO}}(\theta)+\alpha\,\mathbb{I}_i\,\mathcal{L}_{\mathrm{SD}}(\theta)$ ，其中 $\mathbb{I}_i$ 仅在样本被判定为困难时为 1。如此反复强化「提示引导下做对了」的轨迹，把由提示触发的定位行为逐渐内化成模型自身的能力。

奖励设计：四个组成部分

总奖励由作答正确、格式正确、时间定位、对象感知空间定位四项相加，并在 rollout 间做组归一化以计算优势： $r(x,y)=r_{\text{acc}}(x,y)+r_{\text{fmt}}(x,y)+r_{\text{tmp}}(x,y)+r_{\text{spa}}(x,y)$ 作答奖励按任务类型自适应（多选题给二元正确性、开放题算 ROUGE、空间定位给视觉 IoU、时间定位给时间 IoU）；格式奖励检查是否规范使用 <think>/<answer> 及 <obj>/<box>/<t> 标签，未通过记 0。

时间与对象感知的空间定位奖励

时间奖励把每个预测时间戳匹配到最近的真值位置，落在真值区间内给 1、否则按偏差做高斯衰减： $r_m=\begin{cases}1,& t_m\in[s_\ell^{\mathrm{gt}},e_\ell^{\mathrm{gt}}]\\ \exp\!\left(-\frac{\Delta t_m^2}{2\sigma^2}\right),&\text{otherwise}\end{cases}$ 空间奖励是本文与既有工作的关键差异：以往只取 IoU 最大的单框，训练出的模型倾向只报一个框、也不管框里对象对不对，导致对象无关的幻觉。本文改为联合对象身份与全部预测框：预测对象名 $o_m$ 与真值 $o$ 满足精确匹配或互为子串即算身份一致，得到匹配集 $\mathcal{O}_m^{\mathrm{match}}$ ；再按时间偏差门控 $\mathcal{I}=\{m\mid\Delta t_m\le\tau\;\wedge\;|\mathcal{O}_m^{\mathrm{match}}|>0\}$ ，只在通过时间容差且身份匹配成立时才贡献奖励： $r_{\text{spa}}(x,y)=\frac{1}{|\mathcal{I}|}\sum_{m\in\mathcal{I}}\frac{1}{|\mathcal{O}_m^{\mathrm{match}}|}\sum_{o\in\mathcal{O}_m^{\mathrm{match}}}\max_{b^{\mathrm{gt}}\in\mathcal{B}^{\mathrm{gt}}(\tilde{t}_m)}\mathrm{IoU}(b_m,b^{\mathrm{gt}})$

小结

一句话记住：VisionCoach = 困难样本自适应提示（选择器）+ 提示引导轨迹的自蒸馏 + 对象感知的时空定位奖励，核心是把提示的收益沉淀进参数，而不是把提示留在推理路径上。

实验与关键数据

两阶段管线：先以 TVQA+ 与 VideoEspresso 训练选择器并冻结，再用既有 SFT/RL 数据冷启动与 RL；自蒸馏取 top-2 候选，权重 α=0.1。评测覆盖 V-STAR 及视频理解、时序定位、时空定位共六大基准。结论：全面领先，推理延迟显著低于工具调用型方法。

关键数据

V-STAR VQA 准确率

61.1%

vs Qwen2.5-VL-7B 33.5%（+27.6）

V-STAR mAM（时序定位）

+15.0

vs Qwen2.5-VL-7B

V-STAR mLGM（空间定位）

+25.1

vs Qwen2.5-VL-7B

困难样本占比（自适应提示命中率）

58%

vs 按平均奖励判定为困难的样本占全部训练样本

视觉提示带来的奖励提升幅度

+56% ~ +1215%

vs 非提示 rollout 的平均奖励

影响与局限

提升视频推理的具身定位长期靠「扩数据」或「推理时上工具」两条重干预路径。VisionCoach 把重心挪到训练时的轻量感知干预：提示只出现在 RL 阶段，靠自蒸馏把收益沉淀进参数，推理权重与路径不变，为「让模型自己学会看」提供免标注、免外部模块的可达方向。后续工作可复用其提示选择器（插件式验证、跨骨干有效），或扩展提示池到更多感知通道。

局限与不足

首先，评测用的提示池只有四种（红圈、注意力提示、逐帧编号、暗化），选择器的表达上限被这组固定的感知操作框住，无法覆盖更丰富的视觉引导形式；跨模型定义「最优提示」的数据构造依赖多个代理推理器，数据采集本身有成本，且最优性以代理表现为准，未必与最终策略的最优引导一致。其次，奖励里时间容差 \tau、自蒸馏权重 α=0.1 与 top-2 候选择数都是人工设定，论文给出部分消融但在附录，边界敏感度尚不充分。第三，自蒸馏基于「提示 rollout 奖励超过原均值」这一条件，若提示对某些样本不奏效（C_i 为空）则整步跳过，收益分布高度依赖选择器质量。最后，代理推理器与选择器都需要额外训练数据（TVQA+、VideoEspresso），在缺乏此类标注的视频域能否迁移仍未验证；且与 GPT-5.4 等超大模型相比虽保持竞争力，总体仍是受限骨干下的提升。