LongVideoBench: A Benchmark for Long-context Interleaved Video-Language UnderstandingLongVideoBench：长上下文交错视频-语言理解基准

现有长视频评测基准普遍存在「单帧偏差」——即便模型能处理更多帧，成绩也不再提升，长上下文能力评测形同虚设。LongVideoBench 提出以「指代推理」为核心任务：问题先给出一个指代查询，定位视频中一个或多个「被指代片段」，再要求模型基于这些片段作答。基准收集 3763 个网络视频（时长 8 秒到 1 小时）及其字幕，标注 6678 道人工多选题，覆盖感知与关系两级、17 个细粒度类别。实验显示，主流长上下文模型成绩会随可处理帧数增加持续提升，证明其摆脱了单帧偏差。

LLM 的上下文长度已从 LLaMA 的 2K token 扩展到 GPT-4 的 128K、Gemini-1.5-Pro 的百万级，但衡量这种进步的基准大多是纯文本的。视频侧被认为是检验长上下文多模态能力的理想试验场，可是已有的长视频基准存在「单帧偏差」：模型只需看一帧或几帧就能答对大部分问题，即便允许输入更多帧，成绩也不会提升，这使得基准无法真实反映模型的长上下文理解能力，成为评测长视频理解的长期痛点。

关键贡献

• 提出「指代推理」任务范式，用显式的指代查询强制模型先定位再推理，从根源上抑制单帧偏差。
• 构建 3763 个视频、6678 道多选题的基准，视频时长覆盖 8 秒到 1 小时四个递进档次。
• 设计感知（L1）与关系（L2）两级、17 个细粒度问题类别，覆盖物体、事件、属性、时序顺序等理解维度。
• 视频与字幕按时间戳交错组织为统一的多模态输入格式，贴近人类看视频配字幕的真实体验。
• 在 22 个模型上系统评测，发现闭源长上下文模型随帧数增加持续进步，而开源模型在帧数增多后反而性能下滑。
• 进一步分析「指代深度」（被指代片段在视频中的位置）对性能的影响，验证了与文本长上下文 NIAH 测试一致的规律。

总体思路

LongVideoBench 的核心不是简单堆叠更多题目，而是重新设计任务本身以暴露模型的真实长上下文能力。整体流程分三步：先按时长与主题收集大量网络视频并配上时间对齐的字幕，将视频帧与字幕片段按时间戳交错拼接成统一的多模态输入序列；再由标注员观看全片后，围绕视频中一个或多个「被指代片段」撰写多选题，题目本身必须显式包含指代查询；最后模型接收完整的交错输入和问题，被要求先定位指代查询所指的片段，再基于该片段的视觉与文本信息推理出答案。这一「先定位、再推理」的结构使得只看单帧或前几帧的模型无法蒙对答案，从而真正检验长上下文能力。

指代推理任务

每道题由一个指代查询和一个问题体组成：指代查询指向视频中的一个或多个「时刻」（moment），这些时刻由若干帧与对应字幕构成，被称为「被指代上下文」；问题体则要求模型基于该上下文推理出正确选项，选项包含若干具有干扰性的错误答案。这种设计把「找到相关片段」和「理解片段内容」拆成两个显式步骤，而非依赖模型对全视频的模糊印象作答。

感知与关系两级任务

任务分为两级：(L1) 感知级问题的指代查询只指向视频中单一时刻，问题询问该时刻中物体、动作或事件等视觉概念，主要考察模型能否从长输入中定位并理解该片段；(L2) 关系级问题的被指代上下文跨越多个时刻，这些时刻之间存在特定的顺序关系（先后/同时）或共享同一概念（如同一物体反复出现），问题围绕这些时刻之间的关系提出，要求模型不仅要定位所有相关片段，还要推理它们之间的关联，因此普遍比 (L1) 更难。二者进一步细分为 17 个细粒度类别，按指代查询的来源（画面场景/事件/物体，或字幕中的句子/短语）与目标答案的类型交叉划分。

交错式视频-字幕输入格式

为贴近人类「边看画面边看字幕」的真实体验，视频与字幕并非分开输入，而是把每段字幕插入到其对应中间时间点前后两帧之间，构成时间上严格对齐的交错序列：

$$\text{输入序列}=\big(f_1,\dots,f_k,\ s_j,\ f_{k+1},\dots\big),\quad t(f_k)<\mathrm{mid}(s_j)<t(f_{k+1})$$

其中 $f_i$ 为帧、$s_j$ 为字幕片段、$t(\cdot)$ 与 $\mathrm{mid}(\cdot)$ 分别取帧的时间戳与字幕的中点时间戳。这种交错顺序保证模型接收到的信息流与真实观看体验一致，而不是把全部字幕拼接在开头或结尾，从而避免模型绕过视觉理解、单靠字幕文本作答。

递进式时长分组与三重人工审核

视频被划分为 (8s,15s]、(15s,60s]、(180s,600s]、(900s,3600s] 四个递进档次，既覆盖已有基准的时长范围，也扩展出独有的小时级长视频子集，用于观察模型能力从短到长的变化趋势。标注流程采用三重审核：主标注员观看全片后撰写问题、干扰项并标注被指代片段的帧索引；审核员检查问题类别与标注要求是否满足；修订员对被判定不合格的标注进行修改，审核+修订环节共修正了约 20% 的标注，以保证「被指代上下文」在视频中分布均匀且标注准确。

为什么要显式标注被指代片段的帧索引

如果只给出问题和答案而不记录被指代片段的具体位置，就无法量化分析模型性能与「指代深度」（被指代内容到问题在序列中的相对距离）之间的关系。正是因为要求标注员显式标注每个被指代时刻的帧索引，作者才能在事后统计中发现：被指代片段越靠近视频开头（即与问题的相对距离越远），模型表现越差，且这一趋势随视频变长而更明显——这与文本长上下文的「大海捞针」（NIAH）测试结论一致，说明视频长上下文理解也存在类似的「近因效应」。

小结

LongVideoBench 的关键不是题量或视频时长本身，而是用「指代查询 + 被指代上下文」的显式结构，把「长视频理解」拆解成可测量的「定位」与「推理」两步，从而第一次让基准成绩能随可处理帧数的增加而持续、真实地提升。

基准划分验证集（752 视频、1337 题）与测试集（3011 视频、5341 题），在验证集上对 6 个长上下文 LMM 做逐帧数、逐模态消融，再在测试集上对全部 22 个模型给出统一排行榜。闭源模型随帧数增加持续进步，交错输入优于单模态，开源模型帧数增多后反而退步，视频越长、关系题越难。

关键数据

LongVideoBench 是较早明确指出并系统性解决「长视频基准单帧偏差」问题的工作，把长上下文文本评测（NIAH）中「先定位再推理」的思路迁移到视频-字幕交错场景。它为后续长视频 LMM 的研发提供了一个真正能区分「看得多」和「看得懂」的尺子，多篇后续长视频理解与长上下文模型工作将其作为标准评测集之一。

局限与不足

基准的字幕主要来自英语内容或 Whisper 转写的英语字幕，覆盖的语言与文化背景有限，对非英语场景的长视频理解能力评测存在空白。视频来源集中在 YouTube 等网络平台的电影解说、生活、新闻、知识类内容，专业领域（医疗、工业监控等）长视频场景未被覆盖。人工标注虽经三重审核，但审核+修订仍修正了约 20% 的标注，说明长视频、长字幕场景下高质量标注本身仍有相当难度，量表规模（6678 题）相对于其 17 个细粒度类别而言，单类别样本量偏少，可能影响某些类别评测结果的稳定性。此外，评测依赖多选题格式，无法评估模型生成式描述或开放式问答能力上的长视频理解表现。