Can Video LLMs Refuse to Answer? Alignment for Answerability in Video Large Language Models视频大模型能拒答吗？面向可答性的视频大模型对齐

视频大模型（Video-LLM）几乎只在「问题来自视频内容」的三元组上训练，从未学过判断问题本身是否问得出来。本文发现，即便是当下最强的 Video-LLM，遇到超出视频信息边界的问题时仍会一本正经地编造答案，且这一缺陷不会随模型变强或规模变大而自动改善。作者提出「可答性对齐」框架：用打分函数把「答对」与「正确拒答」统一为同一优化目标，配合 SFT/DPO 训练模型主动识别并拒答无法回答的问题，同时设计了一套衡量对齐前后行为变化的评测指标，以及一条从「视频-描述」配对数据自动生成不可答问题的数据构造管线 UVQA。

此前，「不可答性」研究已在纯文本 LLM 与图像式 LVLM（依据图像内容判断问题是否可答）中有所探索，但视频模态一直缺位。同时，Video-LLM 的对齐研究多聚焦于 HHH（有用、无害、诚实）与幻觉抑制，依赖 RLHF/DPO 等已有对齐算法，但训练数据全部来自「问题由视频内容生成」的指令微调集，模型从未见过真正超出视频边界的问题，因此即使模型能力持续提升，也不会自动学会拒答。

关键贡献

• 首次系统定义视频大模型的「可答性对齐」框架，把拒答建模为可训练、可优化的目标。
• 提出响应类型划分与可答性打分函数 s(v,x,y)，将「答对」与「正确拒答」统一进同一套优化信号。
• 设计过度拒绝、宽容度、判别力三项互相制衡的对齐评测指标，避免只看整体准确率带来的误判。
• 构建 UVQA 数据集自动生成管线，基于场景图扰动从物体、关系、属性三个维度批量生成带理由的不可答问题。
• 在 Video-LLaVA、VideoChat2、VLM-RLAIF 三个基座上验证 SFT 与 DPO 对齐均显著提升可答性识别能力。
• 提出并对比 POPE 式「拆解为存在性问题」的免训练基线，证明其准确率更低且推理成本高出数倍。

总体思路

现有视频语言模型（Video-LLM）几乎全部由「视频-问题-答案」三元组训练而成，其中问题和答案都直接来自视频内容本身，模型从未学过「这个问题是否问得出来」这件事。本文提出「可答性对齐」（alignment for answerability）：先给模型响应类型打标签，再定义一个可答性打分函数，用 SFT 或 DPO 去优化模型，使其在问题超出视频信息边界时主动拒答并给出理由；同时配套一套从视频-描述对自动构造「不可答问题」的数据生成管线（UVQA），以及一组衡量对齐前后行为变化的评测指标，而不仅仅看单一准确率。

响应类型划分 t(y)

给定模型输出 $\mathbf{y}$ 和真值 $\mathbf{y}_{\text{gt}}$，作者先把响应分成四类：包含正确答案的「correct」、给出错误答案的「wrong」、拒答但理由与真值不符的「unanswerable_w」、拒答且理由与真值一致的「unanswerable_c」，并映射为一个三值函数：

$$t(\mathbf{y}) = \begin{cases} 1, & \text{type}(\mathbf{y})=\text{correct} \\ 0, & \text{type}(\mathbf{y})=\text{wrong or unanswerable}_w \\ -1, & \text{type}(\mathbf{y})=\text{unanswerable}_c \end{cases}$$

这个划分的关键在于区分「拒答」的质量：不是只要说了「无法回答」就算对，还要看拒答的理由是否命中真正的不可答原因，否则模型可能学会「碰到难题就拒答」这种投机策略。

可答性打分函数 s(v,x,y)

再引入一个「问题是否落在视频信息边界内」的判别函数 $k(\mathbf{v},\mathbf{x})$（可答为 1，不可答为 -1），把它与响应类型相乘，只有两者符号一致时才得 1 分：

$$s(\mathbf{v}, \mathbf{x}, \mathbf{y}) = \begin{cases} 1, & \text{if } k(\mathbf{v},\mathbf{x})\cdot t(\mathbf{y}) = 1 \\ 0, & \text{otherwise} \end{cases}$$

对齐过程就是用算法 $f$（SFT 或 DPO）训练原模型 $\mathcal{M}$，使其在训练数据上更偏好 $s=1$ 的响应，得到对齐后的模型 $\mathcal{M}' = f(\mathcal{M}, s(\cdot))$。这个打分函数把「答对」和「正确地拒答」统一成同一个优化目标——这正是设计的巧思所在：既不需要为可答与不可答问题分别设计损失，也避免模型只学会「答对」而忽略「该拒时拒」。

三个对齐评估指标

仅用整体准确率 $S_{\text{acc.}}$（正确响应数占比）无法区分模型是「变聪明了」还是「变得过度谨慎」。为此作者定义了三个指标，用对齐前后模型响应类型转移的计数 $N_i$ 表示：过度拒绝得分衡量原本能答对、对齐后却变得拒答的比例（越低越好）；宽容度得分衡量原本被误判为不可答、对齐后能正确回答的比例（越高越好）；判别力得分衡量原本没能识别不可答、对齐后能正确拒答并给出正确理由的比例（越高越好）：

$$S_{\text{ex-ref.}} = \frac{N_3}{N_1+N_2+N_3}, \quad S_{\text{permis.}} = \frac{N_7+N_8}{N_7+N_8+N_9}, \quad S_{\text{disc.}} = \frac{N_{11}+N_{12}}{N_{10}+N_{11}+N_{12}}$$

三者取平均（过度拒绝取补）得到综合对齐分数 $S_{\text{align}} = \frac{1}{3}\big((1-S_{\text{ex-ref.}}) + S_{\text{permis.}} + S_{\text{disc.}}\big)$，用一个数字同时反映「没变差」和「变好了多少」。

UVQA 数据集构造

现有指令微调数据里问题全部来自视频内容，天然没有「不可答」样本。作者的做法是拿到「视频-描述」配对数据集，先对描述做扰动生成一个错误描述 $\mathbf{d}'$，再把错误描述和改动信息喂给外部大模型（gpt-4-turbo）反向生成一个问题和带有拒答理由的答案：

$$(\mathbf{d}', \mathbf{c}) = \mathcal{T}(\mathbf{v}, \mathbf{d}), \qquad (\mathbf{x}, \mathbf{y}_{\text{gt}}) = \text{LLM}(\mathbf{d}', \mathbf{c}), \quad \text{where } k(\mathbf{v}, \mathbf{x}) = -1$$

借助场景图（Scene Graph）的「物体-属性-关系」框架，改动被分为三类：物体/关系相关（替换场景图三元组里的主体、客体或关系词，用 MOMA-LRG 数据集，251 类物体、65 类关系，均在同类内替换以保持描述的自然性）、属性相关（用 spaCy 做词性标注抽出形容词，在 DiDeMo 数据集的颜色、位置、材质、大小等九个属性类别内替换）。这样构造出的问题看起来合理，却在事实上问及了视频里不存在的物体、关系或属性，从而天然带有「不可答」标签和可验证的拒答理由。

小结

这篇论文的关键不是提出新模型结构，而是把「该不该拒答」显式建模成一个可优化、可评测的目标：用 $k\cdot t$ 的乘积定义打分函数，用响应类型转移计数定义一组互相制衡的对齐指标，再用自动化的场景图扰动管线把「不可答」这个原本缺失的监督信号规模化生产出来。

在 Video-LLaVA、VideoChat2、VLM-RLAIF 三基座上，用 30k 条 UVQA 不可答样本加 30k 条可答样本训练，评测集为 300 条 UVQA 与 300 条 ActivityNet-QA 各半。SFT、DPO 均显著优于未对齐基线，DPO 更温和。

关键数据

这是较早把「何时该拒答」作为视频大模型独立对齐目标提出并给出可执行训练与评测方案的工作，呼应了 LLM 领域对可答性、拒答对齐的研究脉络，把它从纯文本、图像场景扩展到视频模态，并提供可复用的数据构造管线 UVQA，为后续视频大模型的可信度与幻觉抑制研究提供了直接可用的训练数据与评测协议。

局限与不足

评测依赖 GPT-4 系列模型做响应类型判定与打分，引入了对外部闭源 LLM 判断一致性和调用成本的依赖；不可答问题的构造局限于物体、关系、属性三类基于场景图与词性标注的规则化扰动，难以覆盖更复杂的时序、因果或常识类不可答场景；数据来源仅限于 MOMA-LRG 和 DiDeMo 两个视频-描述数据集，视频领域和风格较为单一，可能限制对齐效果向真实用户提问分布的泛化；此外三个对齐指标之间存在此消彼长的权衡（如 DPO 判别力略低于 SFT），论文未给出统一的多目标优化方案，需要使用者根据场景手动权衡 SFT 与 DPO。