VideoKR: Towards Knowledge- and Reasoning-Intensive Video UnderstandingVideoKR：面向知识与推理密集型的视频理解

现有视频多模态模型在需要专业知识、多跳推理的任务上表现薄弱，作者认为根源在于训练语料：现有大规模视频数据集主要面向日常动作识别等感知任务，缺少专业领域内容与知识密集型监督。为此，论文构建VideoKR——第一个面向知识与推理密集型视频理解的训练语料，含145K段CC授权专业视频与31.5万条问答样本，配套技能分层的生成与校验流程。作者还发现现有知识密集型基准存在单帧即可蒙对的漏洞，重建了VideoKR-Eval。实验证明，标准SFT→GRPO流程下仅靠更好数据设计就能超过依赖复杂RL设计的既有方案。

此前的视频推理后训练语料大多复用多年前发布的感知类数据集（如动作识别、事件定位），内容偏日常场景，且不少语料完全依赖单个模型自动合成，容易带入该模型的系统性偏差。与此同时，VideoMMMU、MMVU、SciVideoBench等知识密集型评测基准虽声称考察领域推理，但作者审计发现相当一部分题目仅凭题干和一帧画面、不看视频也能答对，评测有效性存疑。这两个问题共同限制了模型在真正需要专业知识与多步推理的视频任务上的可靠性。

关键贡献

• 开源VideoKR，第一个专门面向知识与推理密集型视频理解的大规模训练语料，覆盖82个专业学科的145K段CC授权视频。
• 设计了知识驱动的视频采集协议与人机协同、技能分层的问答生成流程，兼顾数据的难度、多样性与可靠性。
• 构建VideoKR-Eval评测基准，通过多模型单帧探测与专家重标注，消除了既有基准中可被单帧解出的样本。
• 建立了标准化、可复现的视频推理评测协议，解决了以往后训练工作中提示词不对齐导致的跨论文结果不可比问题。
• 在标准SFT→GRPO流程下，用VideoKR后训练的模型在知识密集型视频推理上取得同规模最优表现，同时保持通用视频能力。
• 开展CoT监督、技能配比、既有语料对比等消融实验，定位了先前后训练语料收益有限的原因。

总体思路

VideoKR的构建流程分两条主线：训练语料与评测基准。语料一侧先建一个覆盖82个学科的领域知识库，再用知识点反推真实场景去检索CC授权视频，然后按「基础视频推理、知识增强感知、知识密集推理」三档技能生成问答与思维链，并通过自洽性校验、视频依赖过滤、CoT校验三重机制把关，最终切分为SFT语料VideoKR-SFT与RL语料VideoKR-RL。评测一侧则对现有知识密集型基准做单帧可解性审计，剔除可被单帧蒙对的题目并由专家重新标注，得到VideoKR-Eval。最后用标准SFT→GRPO流程后训练基座模型并在统一协议下评测。

知识驱动的视频采集：从知识点到真实场景

直接用「牛顿第二定律」这类术语搜索，检索到的多是课堂讲解视频，缺乏真实情境。作者先让LLM把知识点转写成1–3个真实场景描述（如「火箭发射升空」隐含牛顿第二定律），再用场景描述去YouTube检索CC授权视频，并结合文本元数据与视觉内容做两阶段相关性判定，同时用图像审核API过滤不安全内容。这一步把「搜知识术语」换成「搜知识的真实体现」，是保证视频内容专业且贴近真实应用场景的关键设计。

三层技能体系与技能导向的问答生成

论文把知识与推理密集型视频理解拆解为三种互补技能：基础视频推理（不依赖领域知识、只看视觉序列即可回答）、知识增强感知（需要把观察到的视觉线索对应到领域概念，如识别实验器材并理解其作用）、知识密集推理（需综合视觉证据与领域知识做多跳推断，如由反应物用量估算产物量）。每个技能先由专家标注1800条种子样例，再用前沿多模态大模型参照种子样例的问答形式与推理风格、结合抽帧画面与知识点信息批量扩增，每段视频每个技能生成2条，共6条。

示例校验：自洽性、视频依赖过滤与CoT验证

为压低生成噪声，作者设计三重过滤：自洽性验证要求模型仅凭原始问题与视频帧重新推导一遍答案，只有和标准答案一致的样本才保留；视频依赖过滤则反过来验证——若两个独立模型仅凭题干文本和随机抽取的4帧画面就能答对，说明该题不需要连续视频理解，应予剔除：

$$\text{discard}(q)=\mathbb{1}\big[f_1(q,\text{4 帧})=y^{\ast}\big]\wedge\mathbb{1}\big[f_2(q,\text{4 帧})=y^{\ast}\big]$$

第三重是CoT校验，用独立强模型逐步核查推理链的每一步是否有可观测证据或标准领域知识支撑、并能把正确答案与其他干扰项区分开，不支持的样本直接丢弃。

VideoKR-Eval：多模型单帧探测过滤

作者发现VideoMMMU、MMVU、SciVideoBench中有相当比例题目只给一帧画面也能被模型答对。构造VideoKR-Eval时，用Qwen3-VL-235B-A22B、Claude-4.5-Sonnet、GPT-5.2三个前沿模型分别对每道题做三次独立单帧探测，只有三个模型都在各自三次试验中全部答错，才判定该题真正依赖连续视频理解：

$$\text{NeedsVideo}(q)=\bigwedge_{m\in\{Qwen3\text{-}VL,\,Claude,\,GPT\text{-}5.2\}}\left(\prod_{t=1}^{3}\big(1-\mathbb{1}[\hat y_{m,t}=y^{\ast}]\big)\right)$$

满足条件的1254道原题被保留，其余题目对应的视频交给专家重新标注出746道新题，两者合计构成2000题的VideoKR-Eval。这套「三模型交叉验证」比以往基准常用的纯文本或单模型单帧过滤严格得多。

标准化的SFT→GRPO后训练与可验证奖励

作者刻意不设计复杂奖励工程，而是用最朴素的SFT→GRPO两阶段流程，把观测到的提升更干净地归因于数据本身：先在VideoKR-SFT上以CoT为监督目标微调一个epoch，再从该检查点出发在VideoKR-RL上跑一个epoch GRPO，RL阶段的准确率奖励按题型区分定义：

$$r(y,\hat y)=\begin{cases}\mathrm{ROUGE}(y,\hat y), & \text{开放式问答}\\[2pt] \mathbb{1}[y=\hat y], & \text{多选题}\end{cases}$$

两个阶段都用batch size 32、最多128帧/4096视频token；这样设计是为了排除算法复杂度这个混淆变量，让「数据设计是否才是视频推理的主要瓶颈」这一问题得到干净的回答。

小结

VideoKR的关键不在某个新奖励函数或新架构，而在于用「知识驱动采集+技能分层生成+多重校验」把语料和评测都做对，从而让最朴素的SFT→GRPO流程就能超过依赖复杂RL设计的既有方案。

以Qwen2.5-VL-7B、Qwen3-VL-8B为基座，用VideoKR做标准SFT→GRPO后训练，在通用基准与知识密集型基准（VideoMMMU、MMVU、SciVideoBench、VideoKR-Eval）上三次采样取均值评测。结论：提升在知识密集型基准最明显，SFT+RL、技能配比、CoT监督均有贡献。

关键数据

论文把视频推理进展的瓶颈从「后训练算法」重新定位到「训练数据设计」：在完全相同、不做奖励工程的SFT→GRPO流程下，仅替换语料就能让7B/8B模型的知识密集型推理超过依赖复杂RL设计的既有方法。这为后续视频推理工作提供了一个可复现的标准评测协议与一份可直接复用的高质量语料/基准，也为「模型能力提升应优先投入数据还是算法」这一争论提供了实证证据。

局限与不足

论文把视频长度限制在30分钟以内，长视频理解不在讨论范围，因此VideoKR无法直接验证长上下文场景下知识密集推理的效果。数据生成依赖七个前沿模型池轮换出题与校验，虽然缓解了单模型偏差，但流程复杂、成本高（语料与评测构建合计约7.04万美元推理开销），且人工审计只抽样800条SFT样本复核，仍有52条被标记为可能不需要视频、17条推理链错误会改变最终答案，说明残留噪声无法完全消除。此外，语料完全来自YouTube上的CC授权视频，在语言、地区与内容风格上可能存在系统性偏斜，其覆盖面是否能代表更广泛的专业领域场景仍待验证。