Reinforce to Learn, Elect to Reason: A Dual Paradigm for Video Reasoning先强化学习、后选举推理：视频推理的双重范式（RLER）

视频推理大模型通常单次生成一条思维链和答案，却没有机制检验这条链是否依据视频里的证据（关键帧、时序关系）得出，也没有机制在多次尝试之间仲裁。RLER 把「学会给证据」和「依据证据决策」拆成训练与推理两阶段：训练阶段用 GRPO 强化学习配合帧敏感、思考透明度、反重复三个新奖励，促使模型显式引用关键帧、控制篇幅、减少重复；推理阶段用免训练编排器，对同一问题采样一组候选，按证据一致性、透明度、非冗余度打分，再做证据加权选举、异常值剔除、早停与裁判式自查，选出最可靠答案，不靠扩大模型规模提升可靠性。

此前视频推理的改进大体走两条路：一是用规则奖励做强化学习训练，把 o1、DeepSeek-R1 式方法迁移到视觉设置，靠格式约束与时空引导强化感知与推理能力；二是测试时扩展，用 best-of-N 采样、束搜索、蒙特卡洛树搜索在不训练的情况下多次采样再筛选。但两条线基本互相独立：训练侧很少检查多条轨迹是否证据一致，推理侧筛选也很少对照关键帧验证，「能思考」和「思考得对」被混为一谈，单次生成对视频微小扰动的脆弱性因此难以被发现和纠正。

关键贡献

• 提出 RLER 双范式框架，把训练阶段塑造证据与推理阶段依据证据仲裁闭环打通，针对视频推理单次生成不可验证的问题。
• 设计三个面向证据的新训练奖励——帧敏感奖励、思考透明度奖励、反重复奖励，引导模型显式引用关键帧、控制推理篇幅、抑制重复表达。
• 提出免训练的推理编排器 RLER-Inference，整合多样化采样、证据解析打分、证据加权选举、异常值剔除、自适应预算早停与裁判式自查。
• 在 8 个视频理解基准上系统评测，相比开源与基于 RL 的各类大模型均取得最优结果，平均提升 6.3 个百分点。
• 通过消融实验证明训练侧三个奖励与推理侧编排器各自贡献独立增益，二者的收益可以叠加而非相互替代。

总体思路

RLER 把视频推理拆成两个独立阶段：训练阶段用强化学习「塑造证据」，推理阶段用免训练的编排器「依据证据决策」。输入是一段视频与一个问题；训练阶段用 GRPO 对策略模型做组内相对优化，配合帧敏感、思考透明度、反重复三个新奖励，促使模型输出显式引用关键帧、篇幅适中且不重复的结构化推理；推理阶段对同一输入采样若干风格各异的候选思路，解析出答案、关键帧与置信度，按证据一致性打分后做加权选举、异常值剔除、早停与一次裁判式自查，最终输出证据支持更充分的答案。

GRPO 强化学习目标

RLER-Training 用 GRPO 优化策略 $\pi_\theta$，无需额外学一个价值网络。对每个视频-问题对 $(V,q)$，从旧策略采样一组 $G$ 个候选 $\{o_i\}$，算出标量奖励 $r_i$ 后做组内归一化得到优势：

$$A_i=\frac{r_i-\bar r}{\sigma_r+\epsilon},\qquad \bar r=\frac1G\sum_{j=1}^G r_j,\quad \sigma_r^2=\frac1G\sum_{j=1}^G(r_j-\bar r)^2$$

再用带 KL 正则的裁剪目标更新参数，概率比记作 $\rho_i(\theta)=\pi_\theta(o_i|V,q)/\pi_{\theta_{\text{old}}}(o_i|V,q)$：

$$\mathcal J_{\text{GRPO}}(\theta)=\mathbb E\big[\min(\rho_i A_i,\,\mathrm{clip}(\rho_i,1-\epsilon,1+\epsilon)A_i)\big]-\beta\,\mathrm{KL}(\pi_\theta\|\pi_{\text{ref}})$$

组内归一化让不同量级的奖励子项可以直接比较优劣，裁剪与 KL 项则防止单步更新幅度过大、偏离参考策略太远——这是三个新奖励能稳定叠加训练的前提。

帧敏感奖励：让推理落在关键帧上

从输出 $o$ 中解析出被引用的关键帧集合 $K(o)$ 及其中的非法索引数 $E(o)$，奖励随合法引用增多而上升、随非法引用增多而下降，并做零一裁剪：

$$s_{\text{fs}}(o)=\mathrm{clip}\!\left(\frac{|K(o)|-E(o)}{1+|K(o)|},\,0,\,1\right)$$

该项只在答案正确且输出符合 $\texttt{<think>}$/$\texttt{<answer>}$/$\texttt{<keyframes>}$ 格式时才计入：

$$R_{\text{fs}}(o,s)=\mathbb I_{\text{acc}}(o,s)\,\mathcal F(o)\,s_{\text{fs}}(o)$$

这个设计把「帧引用」与「任务是否真的做对」绑定，避免模型为了刷高帧引用数而堆砌无关帧号。

思考透明度奖励与反重复奖励

思考透明度奖励对推理长度 $L(o)$ 做裁剪归一化得到 $\widetilde L(o)\in[0,1]$，用一个在中等长度取峰值的钟形函数打分：

$$R_{\text{tt}}(o,s)=\mathbb I_{\text{acc}}(o,s)\,\sin^2\!\big(\pi\,\widetilde L(o)\big)$$

用 $\sin^2$ 而不是线性长度奖励，是因为过短的推理容易跳步、过长的推理容易啰嗦，都不利于可读性；钟形函数把两端都压低，只鼓励适中篇幅——这是论文里明确讲「为什么这样设计」的地方。反重复奖励统计 $n$-gram 的重复率并取负：

$$\rho(o)=1-\frac{|\mathcal U_n(o)|}{T_n(o)},\qquad R_{\text{ar}}(o)=-\rho(o)$$

实验设置里 $n=3$。配合帧敏感奖励与准确率、格式奖励，五项按预设权重 $w_{\text{acc}}{=}0.1,w_{\text{fmt}}{=}0.1,w_{\text{fs}}{=}0.2,w_{\text{tt}}{=}0.3,w_{\text{ar}}{=}0.3$ 加权求和成总奖励 $R_{\text{total}}$。

推理阶段的多样化采样与证据打分

RLER-Inference 面对同一个 $(V,q)$，用不同解码温度（$\{0.2,0.7,0.9\}$，top-p 0.9）与视觉扰动（中心与四角裁剪、轻微模糊与亮度扰动）采出一组候选 $\{o_i\}_{i=1}^K$（预算上限 $K_{\max}=8$），并始终保留一个不加扰动的保守候选。每个候选被解析成答案、关键帧、推理文本与置信度：

$$(a_i,\,K_i,\,z_i,\,c_i)=\phi(o_i)$$

再复用训练时的帧敏感项、透明度项、非冗余度并结合置信度，合成一个 0~1 的证据得分：

$$S_i=\frac14\Big(s_{\text{fs}}(o_i)+\tau(o_i)+(1-\rho(o_i))+c_i\Big)$$

这一步是训练和推理两阶段呼应的关键：推理时打分用的正是训练时塑形的同一组信号，而不是另起一套评价标准。

证据加权选举与异常值剔除

把候选按规范化后的答案字符串聚类，每个候选簇 $I(\hat a)$ 先对簇内所有候选的关键帧求一个证据加权的「软共识」：

$$\bar K(\hat a)=\arg\max_{K}\sum_{i\in I(\hat a)} S_i\,\frac{|K\cap K_i|}{|K\cup K_i|}$$

再用候选关键帧与共识关键帧的重合度对证据得分重新加权，得到该答案的最终得分：

$$S(\hat a)=\sum_{i\in I(\hat a)} S_i\,\frac{|K_i\cap \bar K(\hat a)|}{|K_i\cup \bar K(\hat a)|}$$

得分最高的答案当选；每个候选簇内还会先剔除至多一个最大值和一个最小值的 $S_i$ 再参与计算，防止蒙对答案但推理很差、或推理很好但答案抄错这类极端候选主导选举结果。

早停预算与裁判式自查

当当选答案与次优答案的得分差超过阈值 $\delta=0.08$、且当选簇的平均置信度超过 $\gamma=0.4$ 时提前停止采样，否则扩大候选预算继续采样，实测大多数问题平均只需约 3.1 个候选（预算上限 8）就能收敛。停止前还有一次裁判式自查：模型只检查当选答案的证据是否支持充分、有无遗漏，产生一个非正的调整量 $\Delta(\hat a^\star)\le0$，若调整后次优答案反超则重新采一个候选再重新聚合：

$$\hat a^{\text{final}}=\arg\max_{\hat a\in\{\hat a^\star,\hat a_{(2)}\}}\Big(S(\hat a)+\mathbf 1\{\hat a=\hat a^\star\}\,\Delta(\hat a^\star)\Big)$$

自查只做「扣分」不做「加分」，把它设计成对当选者的怀疑性复核而不是锦上添花，是为了防止自查环节反而放大错误共识。

小结

RLER 的关键不是某一个更强的奖励或更复杂的采样算法，而是让训练阶段塑形的证据信号（关键帧、透明度、非冗余度）在推理阶段被原样复用为选举和自查的打分依据，训练与推理因此共享同一套「证据」语言而不是各自为战。

在 VSIBench、VideoMMMU 等 8 个视频理解基准上评测，以 Qwen2.5-VL-7B-Instruct 为基座，对比 GPT-4o、开源与 RL 类 LMM。RLER 全部 8 个基准均取得开源最优。

关键数据

RLER 把视频推理里此前分离的两条研究线——基于 RL 的奖励设计与测试时扩展（best-of-N、搜索、投票）——统一到「证据」这一概念之下：训练决定模型该看哪里、该怎么说，推理决定如何在候选间仲裁。这种分工提供了一条不靠放大模型规模就能获得可靠性收益的路径，为后续视频推理工作在设计新奖励或推理编排策略时提供了可复用的框架与度量。

局限与不足

RLER 的证据打分体系（帧敏感、透明度、反重复、置信度）都是参数轻量的启发式度量，其定义与阈值均来自人工设定（如篇幅裁剪区间 [64,1024]、早停阈值 δ=0.08 与 γ=0.4），没有理论保证它们必然对应「证据是否真实可靠」；关键帧解析、答案规范化与裁判式自查都依赖模型自身输出的结构化标签，一旦格式解析失败就退化为纯答案级投票，证据对齐能力随之失效。消融显示固定预算（K=8）总能小幅超过带早停的动态预算，说明早停规则是以效率换了一点上限性能。此外实验只在 Qwen2.5-VL-7B 这一个基座、且只更新语言模型参数（视觉编码器冻结）的设定下验证，能否迁移到更大模型或依赖精细视觉证据的任务尚未验证。