Perception Before Reasoning: Dynamic Latent Reasoning for Video Understanding and Question Answering先感知后推理：视频理解的动态潜在推理（DyLaR）

视频问答需要先定位查询相关的视觉证据，部分问题还需进一步推理。现有方法对每个问题都生成长文本思维链，即使很多问题定位到相关物体或帧就能直接回答，带来数百到上千 token 开销。本文提出动态潜在推理（DyLaR），把「感知」「推理」拆成两段连续隐状态：先用感知潜变量定位视觉证据，再设自适应决策点，判断是否要追加推理潜变量整合证据后才作答。DyLaR 用证据框监督感知潜变量、蒸馏推理链得到推理潜变量，再叠加强化学习学会何时该推理。九个基准、四种骨干上，DyLaR 准确率超过基线，生成 token 数不到 20 个。

早期视频问答的推理增强方法几乎都遵循「先描述相关画面，再逐步做文字推理」的显式思维链范式，配合强化学习或可验证奖励提升准确率，代价是每题生成成百上千个 token。近来图像领域的隐式推理工作把显式 CoT 蒸馏进少量连续隐状态，或让隐状态重建视觉表示，证明推理可以搬进潜空间而不掉准确率。但这些方法要么只针对静态图像，要么给每个问题分配同样的潜在推理预算，没考虑到视频问答里很多问题只要定位到相关物体或帧就已能回答，强行附加推理是浪费。

关键贡献

• 提出「感知潜变量+可选推理潜变量」的自适应潜在响应框架，让每个问题先做视觉证据定位，只在确有需要时才追加潜空间推理。
• 设计感知定位损失，用验证过的证据框在视觉patch上构造目标嵌入，以余弦距离监督感知潜变量对齐真实证据。
• 借助CODI式的师生自蒸馏，把验证过的文字推理链蒸馏进推理潜变量，让潜变量在答案位置逼近显式推理的隐状态。
• 用带潜变量重放的GRPO强化学习，在格式合法性与答案正确性的双重奖励下进一步优化「何时推理」的路由决策。
• 在九个视频问答基准、四种主流MLLM骨干上验证方法普适性，同骨干下平均准确率全面领先且生成token数不到20个。
• 通过注意力图分析提供非文本的可解释性证据，表明潜在响应确实把注意力集中在与问题相关的视觉线索上。

总体思路

DyLaR 把视频问答的生成过程分成三段：一段可选的「感知潜变量」、一段可选的「推理潜变量」，外加固定的文本分隔符和最终答案。视频经骨干模型编码后与问题一起构成多模态前缀，模型先用少量连续隐状态（感知潜变量）在潜空间里定位与问题相关的视觉证据；紧接着在 <perc_end> 之后设一个自适应决策点，模型自己判断这些证据是否已经足够回答，如果不够就再生成一段推理潜变量对证据做整合，最后才切回普通文本生成答案。整条序列由同一个模型自回归解码，分隔符与答案仍是文本 token，只有中间的计算发生在连续隐状态里。

潜在分段解码

潜在段落用固定数量的 <|latent_pad|> 占位符标出连续的位置区间，这些占位符本身不携带语义。在潜在段内，模型不再采样词表 token 并取其嵌入作为下一步输入，而是直接把上一步解码器的隐状态喂回去当作下一步的输入嵌入，计算因此完全留在连续隐状态空间里；潜在步数用完后解码才恢复成普通的逐 token 生成。这种「隐状态自回归」的解码方式，是感知/推理潜变量能够承载连续信息、而不是被压缩成离散词表符号的关键机制。

响应结构与自适应路由

一个感知段 $\mathcal{P}_{K_p}$ 由 $K_p$ 个感知潜变量夹在 <perc_start>/<perc_end> 之间构成，推理段 $\mathcal{R}_{K_r}$ 同理夹在 <reason_start>/<reason_end> 之间，答案字段 $\mathcal{A}(a)$ 是普通文本。响应因此只有两种合法形式：

$$\mathcal{S}^{\text{direct}}=[\mathcal{P}_{K_p},\mathcal{A}(a)],\qquad \mathcal{S}^{\text{reason}}=[\mathcal{P}_{K_p},\mathcal{R}_{K_r},\mathcal{A}(a)]$$

<perc_end> 之后的那个位置就是路由决策点：模型要么直接生成 <answer> 走 direct 分支，要么生成 <reason_start> 走 reason 分支并追加 $K_r$ 个推理潜变量。为什么这样设计：把决策点放在感知段结束之后，意味着每个问题都必须先完成证据定位，推理只是「证据够不够」这一判断之后的可选追加项，而不是和感知同时决定——这样才能保证「先感知、后推理」的因果顺序，而不是让模型仅凭问题表面难度去猜测是否要推理。

感知定位损失

训练样本里每个被验证的证据框会被用来构造一个视觉目标：把框覆盖的视觉 patch 嵌入 $\mathbf{x}^v_p$ 取平均，得到第 $i$ 个感知潜变量的目标 $\mathbf{u}_i$；证据框按时间顺序排列，感知潜变量数量等于该样本里验证过的证据框数量 $M_p$。训练时用 $\mathbf{u}_i$ 对该位置做 teacher forcing，并让紧邻其前的解码器隐状态 $\hat{\mathbf{z}}^p_i$ 与 $\mathbf{u}_i$ 的余弦距离最小化：

$$\mathbf{u}_i=\frac{1}{|\mathcal{P}_i|}\sum_{p\in\mathcal{P}_i}\mathbf{x}^v_p,\qquad \mathcal{L}_{\mathrm{ground}}=\frac{1}{M_p}\sum_{i=1}^{M_p}\left[1-\cos\left(\hat{\mathbf{z}}^p_i,\mathbf{u}_i\right)\right]$$

按框而不是按单个 patch 聚合目标，是因为视频问答需要的证据通常是一个物体、区域或一个动作，而不是孤立的一个 patch；推理时没有证据框可用，感知潜变量改为按潜在分段解码规则自己生成。

推理潜变量的自蒸馏

推理潜变量没有像证据框一样的直接视觉目标，DyLaR 借助 CODI 式的师生自蒸馏来训练它：同一个模型对每条 reason 样本做两次前向，教师通路把验证过的文字推理链显式写出来，用语言建模损失监督；学生通路则按推理响应形式，把推理链替换成 $K_r$ 个推理潜变量。两条通路在预测第一个答案 token 的位置对齐隐状态：

$$\mathcal{L}_{\mathrm{distill}}=\frac{1}{L}\sum_{\ell=1}^{L}\mathrm{SmoothL1}\left(\mathbf{h}^{\mathrm{lat}}_{\ell},\mathrm{sg}\left[\mathbf{h}^{\mathrm{exp}}_{\ell}\right]\right)$$

其中 $\mathrm{sg}[\cdot]$ 表示停止梯度，教师侧只提供监督目标。学生从始至终不会被训练去模仿推理链本身的文字，推理链只在表示层面上监督学生——推理潜变量学到的是「达到教师推理后的状态」，而不是记住某种固定的措辞。

强化学习与潜变量重放

监督学习是在固定目标序列下塑形潜变量的语义，但推理与否的路由在推理时由模型自己决定，因此还需要用 GRPO 结合可验证奖励对完整 rollout 做强化学习精调。由于潜在 token 是连续隐状态、没有词表概率，DyLaR 采用潜变量重放：把 rollout 生成时记录下的隐状态在重新打分时当作固定输入嵌入喂回去，从而让 <perc_end> 之后决定走 direct 还是 reason 分支的那个 token 也能被正常算出重要性比并纳入优化。奖励是格式门控的：

$$R(o_i)=\mathbb{I}_{\mathrm{form}}(o_i)\left(\alpha_{\mathrm{form}}+\alpha_{\mathrm{acc}}\,\mathbb{I}_{\mathrm{acc}}(o_i)\right)$$

只有响应格式合法才拿到基础分，格式合法且答案正确再叠加额外奖励；组内归一化后得到 GRPO 的优势函数，驱动模型学会在保持格式正确的前提下，只在真正需要时才走推理分支。

小结

DyLaR 的关键不是「把推理搬进潜空间」这件事本身，而是先用定位监督把感知潜变量锚定在真实证据上，再用自蒸馏和强化学习教会模型自己判断「证据够不够」，从而把推理预算真正花在需要推理的问题上。

实验基于 Qwen3-VL-4B、Qwen2.5-VL-7B、InternVL3.5-4B、LLaVA-OneVision-7B 四种骨干，在 Video-MME 等九个视频基准评测；训练数据经独立验证过滤，约 2 万条 SFT、3 万条 RL 样本。结论：DyLaR 都以更少 token 取得最高平均准确率。

关键数据

DyLaR 把「隐式思维链」的研究从图像领域推进到需要跨帧证据整合的视频问答场景，首次让模型自己学会区分「只需定位」与「还需推理」两类问题，而不是给所有问题分配同样的推理预算。它证明了潜在推理不仅能省 token，还能在准确率上超过显式 CoT 和思考模型，为后续「按需分配推理算力」的高效多模态推理研究提供了具体可行的训练范式。

局限与不足

DyLaR 依赖自动生成并经独立验证器过滤的证据框与推理链，这些标注本身可能带有生成模型的系统性偏差，论文虽做了人工抽样审核，但规模有限，无法完全排除标注噪声对训练目标的影响。潜变量本身不可读，论文用注意力图分析作为「非文本可解释性」的替代，但这只能说明模型看了哪里，无法还原逐步推理的具体内容，一旦回答错误也难以像文字思维链那样定位到是哪一步推理出了问题。此外实验只覆盖了四个开源 MLLM 骨干，均采用统一稀疏采样帧数，骨干模型是否需要针对性调参、以及方法能否迁移到自适应选帧或更大规模模型上，论文本身也承认还未验证。