Video-RTS: Rethinking Reinforcement Learning and Test-Time Scaling for Efficient and Enhanced Video ReasoningVideo-RTS：重思强化学习与测试时缩放以高效增强视频推理

视频推理任务此前依赖「长思维链监督微调 + 强化学习」两阶段训练，需要十几万条人工或模型生成的 CoT 标注数据，标注成本高、难以扩展，推理阶段也只能固定用同样多的帧，无法按难度分配算力。Video-RTS 提出跳过 SFT，直接用结果奖励做纯 GRPO 强化学习，仅用 6K 条问答对训练；推理阶段引入稀疏到稠密测试时缩放，少帧多次采样若答案不一致则逐步加帧。仅用不到 4% 的训练数据，在五个视频推理基准上平均超过现有最优方法 2.4 个百分点。

此前的视频推理模型（如Video-R1）遵循「思维链监督微调预热 + 强化学习」两阶段流程：先用MLLM（如Qwen-2.5-VL-72B）生成长思维链标注（165K条）做SFT，再在少量数据（4K条）上做RL微调。这种流程存在三重代价：生成大规模长CoT标注耗时且质量难以保证；SFT+RL的训练本身对算力和数据都高度依赖；推理阶段又缺乏按问题复杂度动态分配算力的机制，简单问题和复杂问题消耗同样的帧数与计算量。

关键贡献

• 提出跳过SFT阶段、直接对视频问答数据做结果监督GRPO强化学习的训练范式，把训练样本量从165K+4K压缩到6K条。
• 设计仅由格式奖励与准确率奖励构成的结果奖励函数，不依赖额外验证器或思维链标注即可训练出显式推理能力。
• 提出稀疏到稠密的视频测试时缩放机制，用多轨迹自一致性作为信号，按需迭代加帧分配推理算力。
• 在Video-Holmes、MMVU、Video-MMMU、Video-MME、LongVideoBench五个基准上系统验证方法有效性，平均超越Video-R1 2.4个百分点。
• 通过消融实验证明纯RL训练与稀疏到稠密测试时缩放两个组件互补，叠加带来近乎加性的性能提升。

总体思路

Video-RTS 把视频推理流程拆成训练和推理两段来省算力：训练阶段跳过代价高昂的思维链监督微调，直接在视频问答数据上做纯强化学习（GRPO），只用「答案对不对」这一个结果信号驱动优化；推理阶段引入「稀疏到稠密」测试时缩放，先用少量帧生成多条推理轨迹，若多数投票不一致就逐步加帧重试，直到达成共识或抵达帧数上限。两段分别解决「训练数据太贵」和「推理算力怎么分配」两个问题，合起来构成一个数据高效、推理自适应的视频推理框架。

GRPO 结果监督强化学习

Video-RTS 采用 Group Relative Policy Optimization（GRPO）作为训练算法：给定问题，从旧策略 $\pi_{\theta_{old}}$ 采样 $G$ 条候选回答，把奖励模型给出的分数在组内做归一化，得到相对优势：

$$S_i=\frac{R_i-\mathrm{mean}(\{R_i\}_{i=1}^{G})}{\mathrm{std}(\{R_i\}_{i=1}^{G})}$$

GRPO 用组内相对分数代替了单独训练一个价值网络（critic）来估计基线，省掉了一整套 critic 训练开销，这也是它比 PPO/DPO 更适合资源有限场景的原因。

裁剪目标与 KL 约束

在得到组内相对优势 $S_i$ 后，策略更新采用裁剪重要性采样目标，并加一个 KL 惩罚项防止新策略 $\pi_\theta$ 偏离参考模型 $\pi_{ref}$ 太远：

$$\mathcal{J}_{GRPO}(\theta)=\mathbb{E}\left[\frac{1}{G}\sum_{i=1}^G \min\left(\frac{\pi_\theta(o_i|q)}{\pi_{\theta_{old}}(o_i|q)}S_i,\ \mathrm{clip}\left(\frac{\pi_\theta(o_i|q)}{\pi_{\theta_{old}}(o_i|q)},1-\epsilon,1+\epsilon\right)S_i\right)-\beta\,\mathbb{D}_{KL}(\pi_\theta\|\pi_{ref})\right]$$

裁剪范围 $[1-\epsilon, 1+\epsilon]$ 限制单步更新幅度不至于太剧烈，KL 项则把训练稳定性和保留基座模型原有能力这两个目标折中在一起。

结果奖励设计

Video-RTS 完全放弃了长思维链标注，只用两个规则化奖励信号训练：格式奖励要求模型把推理过程包在 <think></think> 标签里，准确率奖励直接比较预测答案与标准答案是否一致：

$$R(O)=R_{\mathrm{format}}(O)+R_{\mathrm{acc}}(\widehat{A};A)$$

两个奖励都是规则可计算的，不需要额外训练一个奖励模型或验证器，这是它把训练数据量压到 6K 条（而 Video-R1 需要 165K SFT + 4K RL）的关键——省下来的不是算法复杂度，而是数据标注和奖励模型这两项工程成本。

稀疏到稠密的测试时缩放

推理阶段不再一次性用全部帧，而是从帧数 $n=n_{init}$ 开始，用同一策略在当前帧数下独立采样 $m$ 条推理轨迹并各自抽出答案；若 $m$ 条答案完全一致就直接返回，否则说明当前时序信息不够，按

$$n\leftarrow\min(n\times 2,\ n_{\max})$$

翻倍增加帧数重新采样，循环直到达成共识或触达帧数上限 $n_{\max}$，仍不一致则用多数投票兜底。

为什么用自一致性做缩放信号

这里的直觉是：视频里的时序信息高度冗余，多数问题用少量帧就能稳定答对，只有少数「关键证据分散在后面帧」的问题才需要更多帧。多条独立推理轨迹是否收敛到同一答案，天然反映了当前帧数下证据是否充分——不一致就相当于模型自己在说「我还没看够」，不需要额外训练一个验证器或置信度模型来判断该不该加帧。这比固定用最大帧数推理更省算力，也比一次性猜测该用多少帧更可靠。

小结

Video-RTS 的关键是把「省训练数据」和「按需分配推理算力」绑定在一起：纯 RL 只需要 6K 条问答对就能追平大规模 SFT+RL 方案，省下来的算力被挪到推理阶段的稀疏到稠密加帧策略上，用自一致性代替额外验证器来判断该不该加帧。

在Video-Holmes、MMVU(mc)、Video-MMMU、Video-MME、LongVideoBench五个基准上评测，训练数据为CG-Bench过滤后的6K条MCQA，基座Qwen-2.5-VL-7B。Video-RTS用6K样本平均超过Video-R1（165K+4K样本）2.4个百分点，推理帧数更少。

关键数据

Video-RTS 是首个系统性地把结果监督强化学习和测试时缩放结合起来提升视频推理能力的工作，呼应了语言模型领域「少量RL样本即可大幅提升推理能力」和「测试时算力可替代训练算力」的发现，并把这两个结论从文本推理迁移到视频这种时序、多模态输入上。它证明了视频推理模型不必依赖昂贵的长CoT数据合成流程，为后续低成本视频推理研究提供了一条可复制的训练与推理范式。

局限与不足

局限主要有三点：一是稀疏到稠密测试时缩放依赖多次采样加多数投票，推理阶段单次问答的计算和延迟成本相较不做TTS的模型仍明显更高，且帧数上限之内若始终无法达成共识则退化为普通多数投票，未必能保证正确；二是训练数据来自CG-Bench经难度过滤后采样的6K条问答，过滤逻辑本身依赖基座模型当前能力对「过难/过易」样本的判断，换一个更弱或更强的基座可能需要重新过滤才能生效；三是方法仅在多选问答（MCQA）格式上验证，对开放式问答或需要精确时间定位的任务是否同样有效，论文未给出实验证据。