原文摘要 · English Abstract
We introduce VideoOdyssey, a benchmark for ultra-long-context and omni-modal video understanding, emphasizing continuous certificate length (the video length a human must continuously watch to definitively answer a question). Features: 11 domains and 54 subcategories with average duration 109 minutes; two subsets VideoOdyssey-V (visual) and VideoOdyssey-AV (audio-visual); average continuous certificate of 16 minutes (V) and 12.8 minutes (AV), with 5 granular levels from seconds to hours.
概要
当前视频多模态大模型的评测大多把长视频拆成孤立短片段提问,视频时长很长,但单条问题依赖的证据窗口却很短,掩盖了模型在超长上下文上的真实短板。VideoOdyssey提出用连续证据长度衡量这种认知负荷,构建两个子集:面向纯视觉的VideoOdyssey-V与面向视听协同的VideoOdyssey-AV,视频取自YouTube上超过一小时、动态丰富、音轨完整的素材,覆盖11个领域54个子类。每道题标出精确的连续证据长度,划分出秒级到小时级的5档,再经自动化加人工质控筛掉捷径题目,使基准能按认知负荷分级追踪表现。
此前的长视频基准(LongVideoBench、InfiniBench、LVBench)靠堆高时长标榜长上下文,但受标注认知负荷所限,标注员往往只针对局部片段出题,导致视频虽长、真正需要连续追踪的证据窗口却很短——LongVideoBench仅0.7分钟,InfiniBench、LVBench也只有3.4、4.1分钟。音视频基准LVOmniBench同样如此,证据窗口平均仅0.8分钟,且常把音频与视觉任务耦合,难以单独衡量模态理解能力。
关键贡献
- 提出连续证据长度指标,把长视频理解的难度从视频有多长重新定义为必须不间断盯着看多久才能确定答案
- 构建VideoOdyssey-V与VideoOdyssey-AV两个子集,分别用14个和18个任务系统评测纯视觉与视听协同理解能力
- 收集100条平均时长109分钟、覆盖11个领域54个子类的超长真实视频,并配套精细标注的字幕与音轨
- 设计从秒级到小时级的5档连续证据长度分级体系,首次能按认知负荷强度对模型能力分层诊断
- 采用两阶段质量控制流程,用模型自动过滤语言先验和单模态捷径题目后再经人工复核,共剔除125道低质量问题
- 系统评测18个纯视觉模型与12个全模态模型,揭示当前模型在超长上下文推理、细粒度感知与非语言声学理解上的共性短板
方法详解（完整做法）
总体思路
VideoOdyssey构建的核心是把评测能不能定位证据和评测能不能扛住持续认知负荷这两件事分开衡量。做法分四步:先按四条硬性标准从YouTube采集100条超长真实视频,覆盖11个领域54个细分类别;再让标注员在自由回看视频的过程中设计问题,并为每道题标出精确的连续证据长度,划入VideoOdyssey-V(纯视觉)或VideoOdyssey-AV(视听协同)两个子集;随后把所有问题按连续证据长度切成从秒级到小时级的5档;最后用自动化模型过滤加人工复核的两阶段质控剔除可被捷径解出的题目。整个流程的产出不是一个总分,而是一张按认知负荷强度分层的性能曲线。
连续证据长度:从证据总量到连续追踪
EgoSchema最早提出用certificate length衡量长视频问题的难度,定义为回答问题所需的全部证据子片段时长之和,这些子片段允许在时间轴上不相连、可以东拼西凑地拼出答案:
VideoOdyssey认为这低估了真实难度:像"这个人在视频里一共出现了几次"这类计数或状态追踪问题,人必须不间断地看完整段视频、连他不出现的时刻也要确认,证据窗口应是一段连续区间而非可拼接的碎片:
数据采集的四条硬性标准
为保证视频本身有足够的时长深度和信息密度,团队设定了四条采集门槛:时长超过60分钟、分辨率不低于720P、画面必须包含动态场景、音轨必须包含丰富的真实声音。据此从YouTube筛出100条同时具备视觉与音频信息量的超长视频,音轨对应的字幕优先下载原生字幕,89条有原生字幕,其余11条用Whisper-large-v3生成。这一步保证了后续标注既有充足的画面复杂度,也有可用于音视频协同提问的真实音频。
标注流程与四条设计原则
标注员可以在时间轴上自由跳转、反复回看,据此设计多选题并标出该题的精确连续证据长度。标注需遵守四条原则:尽可能多地设计需要长上下文持续推理的问题;VideoOdyssey-V的问题必须依赖视觉线索,VideoOdyssey-AV的问题必须同时依赖音频和视觉线索、缺一不可;问题必须客观无歧义;三个干扰项必须与正确答案在语义和格式上都有竞争力。最终产出1664道VideoOdyssey-V问题和1141道VideoOdyssey-AV问题。
五级连续证据长度体系
团队没有只报告一个平均证据长度,而是把所有问题按连续证据长度切成从秒级到小时级的5个粒度档位。这是因为单一总分会掩盖模型在不同认知负荷下的真实表现——一个模型完全可能在短窗口检索上表现尚可,却在长窗口的持续追踪上彻底失效,反之亦然。5档划分让评测第一次能画出性能与认知负荷强度的完整曲线,而不是给出一个笼统的准确率数字,这也是本文相较以往基准最核心的设计取舍。
两阶段质量控制
第一阶段是自动化过滤:VideoOdyssey-V用DeepSeek-R1和GPT-4排除仅凭语言先验就能蒙对的问题,VideoOdyssey-AV用Gemini-2.5-Pro和Qwen3-Omni排除只看画面或只听音频就能作答的问题,强制保留真正需要跨模态协同的题目。第二阶段是人工复核,专家逐条检查剩余问题是否符合前述四条标注原则。两阶段共剔除VideoOdyssey-V中46道、VideoOdyssey-AV中79道问题,最终保留1618和1062道高质量QA。
小结
VideoOdyssey的关键不是把视频做得更长,而是用连续证据长度把必须不间断追踪多久才能答对量化成可分级的指标,从而把长视频理解的评测从比总分变成了比认知负荷曲线。
实验与关键数据
作者在VideoOdyssey-V上评测18个纯视觉MLLM(代理模型128帧,开源模型用最大配置),在VideoOdyssey-AV上评测12个全模态LLM(64帧)。另在11视频150道QA子集测试agentic方法DVD。结论:性能随证据长度增长显著衰减,开源与代理模型差距明显,全模态模型对非语言声学理解薄弱。
关键数据
影响与局限
VideoOdyssey把EgoSchema提出的证据长度概念从可拼接的孤立片段推进到必须连续追踪的时间窗口,并首次把这一指标系统化为可分级的诊断工具,弥补了以往长视频基准时长堆得很长、但证据窗口很短的评测漏洞。它同时给纯视觉与音视频全模态模型划出了统一但方向不同的评测坐标系,为后续长上下文架构与非语言声学理解方向的研究提供了明确的失败模式与改进靶点。
局限与不足
VideoOdyssey的100条视频全部来自YouTube,内容以英语和西方流媒体、自媒体素材为主,11个领域54个子类未必能覆盖所有真实世界长视频场景,例如工业监控、医疗影像等专业领域基本缺失。连续证据长度和5档分级依赖标注员的主观判断,论文没有报告大规模的标注一致性统计。实验只测试了一种检索式agentic方法(DVD)作为长上下文增强手段,没有系统评估状态空间模型、层级记忆网络等专门为长序列设计的架构,因此如何真正解决长上下文认知负荷这一问题本身仍未给出答案,基准只是把问题清晰地暴露了出来。此外,11条视频因缺乏清晰人声而没有原生字幕、依赖Whisper-large-v3生成,可能给这部分样本的音视频协同标注引入额外噪声。