VideoChat-R1.5: Visual Test-Time Scaling to Reinforce Multimodal Reasoning by Iterative PerceptionVideoChat-R1.5：通过迭代感知强化多模态推理的视觉测试时缩放

现有 MLLM 大多“感知一次、推理多次”：视觉证据在开头就已固定，一旦初始感知遗漏关键区域或时刻，后续再多语言侧推理也无法弥补。VideoChat-R1.5 提出视觉测试时缩放（VTTS），让模型在推理中反复回头“看”：每轮先给出候选时空线索，再据此加密采样或裁剪获取更细的视觉证据。为使其可学习，作者用 GRPO 强化学习同时监督线索定位、答案正确性与格式，并配套构建 VTTS-80K 数据集。15 个以上基准上，VTTS 使 Qwen2.5-VL-7B/3B 平均提升超过 5%。

此前提升 MLLM 推理主要沿两条路线：一是扩大 LLM 侧搜索空间，如 Best-of-N、束搜索、蒙特卡洛树搜索或强化学习优化候选答案；二是像 V*、Visual-CoT 那样一次性引入视觉线索辅助推理。两者都假设视觉证据在推理开始时已固定，初始感知一旦遗漏关键区域便无法弥补。而直接用自回归监督学习预测精确时空坐标效果很差，因常规问答语料几乎不含数值化时空描述，监督信号稀缺且不连续。

关键贡献

• 提出视觉测试时缩放（VTTS）范式，把迭代感知作为可学习、可在推理阶段缩放的计算维度，而不只是扩大语言侧思维链
• 设计迭代感知（ITP）推理机制，让模型基于中间推理预测的时空线索反复重新采样视觉输入，逐步聚焦高置信度区域
• 提出基于 GRPO 的强化学习训练方案，用时空线索 IoU、答案正确性、输出格式三类奖励联合监督感知与推理能力
• 构建 VTTS-80K 数据集，包含问答对、时空线索标注与思维链三类监督信号，覆盖问答、时间定位、空间感知三个子集
• 在 15 个以上覆盖视频对话、视频推理、时空定位的基准上验证方法通用性，对 Qwen2.5-VL-3B/7B 均带来一致提升
• 通过消融实验证明强化学习优于监督微调，且性能随感知迭代次数呈现稳定的感知缩放趋势

总体思路

常规 MLLM 的多模态推理管线是“感知一次、推理多次”：视觉输入在开头被编码成固定的 token 序列，之后所有思维链步骤都只能在这份证据上反复挖掘。VTTS 打破这个假设，把感知也变成推理循环的一部分：模型先做一轮粗粒度感知，输出初步答案和候选时空线索（时间区间或边界框）；随后针对这些线索做加密重新采样或局部裁剪，获得更细粒度的视觉证据，再重新推理、更新线索，如此迭代若干轮。整个循环由强化学习训练出的策略驱动，用同一套 GRPO 目标同时监督“线索选得准不准”和“答案对不对”。

迭代感知的似然建模

常规自回归训练只对答案序列的每个词做交叉熵：

$$\mathcal{L} = -\sum_{i=1}^{T} \log P_\theta(W_i^a \mid V, W_{<i}^a, W^q)$$

VTTS 把这一目标沿感知轮次 $k$ 展开，让第 $k$ 轮的答案 token 和下一轮视觉输入 $V_{k+1}$ 同时成为待预测量，$V_{k+1}$ 由采样函数 $\delta$ 根据当前视觉 $V_k$ 和本轮估计 $W_k^a$ 生成：

$$\mathcal{L}_v = -\sum_{k=1}^{K}\sum_{i=1}^{T} \log P_\theta\big(W_{i,k}^a, V_{k+1} \mid V_k, W_{<i,k}^a, W^q\big), \quad V_{k+1} = \delta(V_k \mid W_k^a)$$

这样一来，“下一轮该看哪里”被显式写进了似然函数，而不再是推理之外的启发式规则。

三路奖励与 GRPO 训练

直接用监督学习回归时空坐标效果很差——常规视觉问答语料里几乎不包含数值化的时空标注，监督信号本身就稀缺。VTTS 转而用 GRPO 强化学习，让模型在采样出的多条轨迹间做相对比较，用三路奖励联合打分：

$$R(\theta) = \lambda_0 \cdot r_{clue}(W_{clue}^a, \hat{W}_{clue}^a) + \lambda_1 \cdot r_{ans}(W^a, \hat{W}^a) + \lambda_2 \cdot r_{fmt}(W^a, \hat{W}^a)$$

其中 $r_{clue}$ 用预测时空线索与真值的 IoU 衡量定位精度，$r_{ans}$ 判定最终答案是否正确，$r_{fmt}$ 用正则表达式检查输出格式是否合规；三者按系数 $\lambda_0,\lambda_1,\lambda_2$ 加权求和，同时约束“看得准”“答得对”“格式对”。

推理阶段的迭代感知策略

训练好的策略在推理时展开成一个显式的多轮循环：第一轮做标准处理——视频均匀抽帧、图像看全图，得到粗略的初步答案和候选时空线索；从第二轮起转为差异化处理：视频对线索指向的时间段做加密采样、对其余部分保持稀疏采样以控制计算量，图像则同时保留全图和线索区域的裁剪图一起送入模型。这种“全局上下文 + 局部放大”的双输入方式，让模型既不丢失整体场景信息，又能在关键区域获得更高分辨率的证据，默认迭代 3 轮。

VTTS-80K 数据构建流程

为了让上述迭代感知可学习，作者构建了 VTTS-80K 数据集，按技能划分为三部分：面向问答与图像推理的 VTTS-QA、面向时间理解的 VTTS-TEMP、面向空间感知的 VTTS-SPATIAL。构建流程分三步：先用 DeepSeek 做一致性校验，剔除与视频/图像描述不符的问答对及不相关线索，得到“Filtered QA”；再把筛选后的问答连同线索一起喂给 DeepSeek 生成逐步思维链；最后用一个 VLM 按清晰度、相关性、一致性对生成的问答-思维链组合排序，产出最终数据集。

为什么用强化学习而不是监督微调

论文专门做了 SFT 与 RL 的对照：监督微调把时空坐标预测当分类问题，对离散化的坐标 bin 做交叉熵，任何偏离真值 bin 的预测都被同等惩罚，与真实距离无关；这种监督信号对连续量（时刻、时长）不敏感，反而会让模型过拟合标注分布、遗忘预训练先验，实验里 SFT 甚至比不训练还差。GRPO 用 IoU 等连续度量直接构造奖励，偏差越小惩罚越小，奖励地形与任务目标天然对齐，这正是强化学习在时空定位任务上远超 SFT、且不损害零样本泛化能力的原因。

小结

一句话：VTTS 把“迭代看”而不只是“迭代想”纳入了测试时缩放，用 GRPO 把时空定位训练成可优化的连续奖励，让感知本身也能随算力增加而变准。

以 Qwen2.5-VL-3B/7B 为基座，用 VTTS-80K 做强化微调，在 VideoMME、LongVideoBench 等通用理解基准，NextGQA 有据问答基准，以及时间定位、空间定位、目标跟踪基准上全面评测。结论：三轮迭代感知稳定优于单步感知，强化学习训练在时空定位任务上远超监督微调。

关键数据

VTTS 把“测试时缩放”从纯语言侧的候选采样、树搜索扩展到了视觉侧，指出以往方法即便扩大推理搜索空间，也无法修正一次性感知带来的证据缺陷。它与 V*、Visual-CoT 等自顶向下感知方法一脉相承，但用强化学习替代了监督式坐标回归，绕开了空间坐标标注稀疏、监督信号不连续的问题，为后续视频/图像 MLLM 的推理时计算分配提供了新的可学习维度。

局限与不足

论文自陈的局限：VTTS 目前只在视觉模态上验证，尚未扩展到音频等其他模态；迭代感知的推理过程没有做特别的工程优化——每一轮都要重新编码视觉输入并跑一遍完整前向计算，没有利用视觉-语言先验或 KV cache 等缓存机制复用前几轮已经算过的内容，这也是表中多轮推理耗时明显高于单轮的直接原因（7B 模型视频推理从单轮 13.2 秒涨到多轮 30.1 秒，接近 2.3 倍）。此外，迭代轮数目前是固定超参数（默认 3 轮），论文没有给出根据问题难度自适应决定何时停止迭代的机制，增加轮数带来的边际收益也在递减（VideoMME 从 65.2 提升到 67.9 后未见更多轮次的数据支撑）。