SVCBench: A Streaming Video Counting Benchmark for Spatial-Temporal State MaintenanceSVCBench：面向时空状态维持能力的流式视频计数评测基准

现有长视频评测大多只在播放结束后问一次问题，无法观察模型在播放中是否持续正确更新内部世界状态（如可见物体数、累计身份数、事件发生次数）。SVCBench 把「计数」重新定位为诊断状态维持能力的最小可控探针：计数答案客观唯一、不能靠语言先验蒙对，又能在时间轴上设多个查询点，通过观察预测轨迹而非单一终值暴露状态维护缺陷。基准含 406 个视频、1,000 个流式问答、4,576 个查询点，配三项互补指标衡量数值精度、轨迹一致性与更新时机，评测发现主流模型时空状态维持普遍薄弱，周期性事件计数尤为重灾区。

长视频理解基准（Video-MME、LVBench、MLVU 等）在标准化和任务覆盖上进展很大，但评测信号多是「一次性终值回答」，看不出模型播放中是否持续维护世界状态。OVO-Bench、StreamingBench 等在线评测引入多时刻查询，但窗口较短，且不区分瞬时动作与持续活动的追踪要求。TOMATO、VSI-Bench 等计数评测多聚焦片段内时序关系，很少把「持续更新的世界状态」作为核心设计目标。

关键贡献

• 提出将计数任务重新定位为诊断视频模型时空状态维持能力的最小可控探针，区别于以往把计数当作普通问答子任务的做法。
• 构建覆盖物体计数与事件计数两大维度、8 个细粒度子类的系统性能力分类体系，明确区分「当前状态追踪」「累计身份追踪」「瞬时动作检测」「完整活动周期追踪」四种不同的状态更新要求。
• 标注 406 个视频、10,071 个逐帧事件/状态变化时刻，设计 4,576 个沿时间轴分布的流式查询点，构成 1,000 个流式问答对。
• 设计 GPA、MoC、UDA 三项互补指标，分别衡量数值精度、单调性一致性与状态变化时的响应及时性，能够区分不同类型的失败模式。
• 通过显式周期标注的 Oracle 实验与相机旋转身份持久性实验两项对照实验，定位模型失败的具体机制来源于视觉-时序对齐瓶颈而非纯粹的数值推理能力不足。

总体思路

SVCBench 不追加新的视频理解任务类型，而是重新设计「怎么问、怎么评」：把计数选作探针，因为计数答案是客观、可验证的唯一数字，既不能靠语言先验蒙对，也不存在开放式问答的评判分歧；再沿着视频时间轴设置多个查询点，让模型在同一个问题下给出一串随时间演化的预测序列，而不是播放完再给一个终值。整个流程分三步：先按「追踪什么量、这个量如何随时间更新」建立系统性的能力分类体系；再据此收集视频并做逐帧事件/状态标注，进而在时间轴上布设查询点；最后用三项互补指标去读这串预测轨迹，诊断出模型在状态初始化、增量更新、跨时查询等具体环节的缺陷。

能力分类体系：物体计数与事件计数的正交分解

作者把时空状态维持能力分解为两个正交维度。物体计数（Object Counting）关心场景中实体的数量：当前状态追踪 O1（O1-Snap 查某一时刻可见物体数，O1-Delta 查相对某时间窗起点的数量变化）要求预测能随物体进出实时升降；累计身份追踪 O2（O2-Unique 查时间轴上出现过的不同个体总数，O2-Gain 查某窗口内新增了多少个体）要求预测轨迹单调不减，且模型必须判断新出现的个体是「新的」还是「重复的」。事件计数（Event Counting）关心动作或活动：瞬时点事件 E1（E1-Action 查某原子动作累计发生次数，E1-Transit 查场景切换次数）要求精确定位离散脉冲式时刻；有时长的跨度事件 E2（E2-Periodic 查完整重复动作周期数，E2-Episode 查语义完整的活动片段数）要求先判定每个事件的起止边界再计数。四类共细分出 8 个子类，分别对预测轨迹施加不同的形状约束（升降自如 vs 单调不减 vs 精确打点 vs 边界判定），从而把「状态维持」拆成可分别诊断的子能力。

数据构建与标注协议

数据集收集 406 个视频，来源包括 YouTube（108 个）、ARKitScenes、ScanNet、ScanNet++、Ego4D、RoomTour3D、TOMATO、CODa、OmniWorld 等已有视觉数据集，以及自制物理仿真视频；针对 E2-Periodic 类稀缺长时程周期数据的问题，专门从 TOMATO 中挑选 56 段首尾无缝的周期动作视频，通过循环拼接扩展成 2-3 分钟的长视频。标注分两步：第一步逐帧标注事件发生时刻与物体状态变化时刻（E1 标注每次发生的时间戳，E2 标注每个事件的起止时刻，O2 标注每个个体首次出现的时刻）；第二步在时间轴上选取画面稳定、无视觉歧义的时刻布设查询点，每个查询点的正确答案由该时刻之前已标注的事件重新计算得到。最终产出 1,000 个问答对、4,576 个查询点、10,071 个精确标注的事件/状态变化时刻，其中 O1-Delta 和 O2-Gain 因聚焦特定窗口内的变化量，每题只设 1 个查询点。

评测指标一：GPA 衡量数值精度

流式多点查询产生的是一串预测序列而非单个答案，因此不能直接用传统的整数匹配准确率。GPA（Gaussian Precision Accuracy）借助高斯核把「预测与真值的接近程度」转成连续分数，而不是非对即错的硬匹配：

$$\text{GPA}_q = \frac{1}{n} \sum_{i=1}^{n} \exp\left(-\frac{(p_i - g_i)^2}{2\sigma_i^2}\right), \quad \sigma_i = 0.05 \cdot \max(g_i, 1)$$

其中 $\sigma_i$ 正比于真值 $g_i$ 本身（取真值 5% 作为容忍带宽），这样对「真值为 50、预测偏差 2」和「真值为 2、预测偏差 2」给出不同的惩罚力度，避免绝对误差在数值量级差异巨大的计数任务里失去意义。

评测指标二：MoC 与 UDA 衡量轨迹形状

对于要求单调不减的累计类任务（如 O2-Unique），仅看数值精度不够，还需要检查轨迹本身是否「回退」。MoC（Monotonicity Consistency）取预测序列第一次出现下降的位置 $v$，用它在序列中的相对位置衡量单调性保持了多久：

$$\text{MoC}_q = \frac{v-1}{n-1}, \qquad v=\min\{i : p_{i+1} < p_i\}$$

UDA（Update Detection Accuracy）则检查模型是否在真值真正发生变化的那些时刻同步更新了预测，用真值变化的步集合 $S$ 上「预测也变化」的比例来度量响应及时性：

$$\text{UDA}_q = \frac{1}{|S|} \sum_{i \in S} \mathbb{1}[p_i \neq p_{i-1}], \qquad S=\{i : g_i \neq g_{i-1}\}$$

三项指标构成互补诊断：GPA 低而 MoC、UDA 都高，说明模型轨迹平滑且更新及时但数值本身算错了；GPA、MoC 都高而 UDA 低，说明模型数值和单调性都对，但更新滞后于真实状态变化——这正是纯粹终值评测完全看不出来的失败模式。

为什么必须用流式多点查询而不是单次终值问答

如果只在视频结束后问一次「总共出现过几把椅子」，模型即便蒙对答案，也无法暴露它是否真的在逐帧维护一个内部计数器：一个从头到尾输出固定数字的模型和一个真正跟踪状态变化的模型，在终值评测下可能得到同样的分数。SVCBench 在时间轴上密集布点（平均每题 4.5-16.7 个查询目标），迫使评测去看「预测序列如何随时间演化」——如果模型在身份追踪任务里预测从 5 降到 3，或者在当前状态任务里物体已经离开视野但计数迟迟不变，这类矛盾在终值评测里完全隐形，但在轨迹层面会被 MoC、UDA 直接捕获。这是本文选择「流式多点查询」而非扩充题量或题型的核心设计理由。

周期计数瓶颈的 Oracle 对照实验

为了判断 E2-Periodic 类几乎全面崩溃（多数模型 GPA 低于 4）究竟是视觉感知瓶颈还是数值推理瓶颈，作者设计了一个剥离实验：在视频画面左上角叠加「Current count: 5」这样的显式周期计数标注，直接把周期识别结果喂给模型，只考察它能否在已知计数的情况下正确回答查询。这相当于人为绕开「从视觉信号中识别周期边界」这一步，把任务简化为纯粹的数字读取与推理。实验显示 Gemini-3-Flash 的 GPA 从 3.9 跃升到 81.8（约 21 倍），逼近人类水平 93.2，证明模型的数值推理能力本身没有问题，真正的瓶颈在于从视频里对齐并识别出重复动作的周期边界——这是一个视觉-时序对齐问题，而非语言或算术能力问题。

小结

SVCBench 的关键不是又造了一个计数数据集，而是用「计数为探针、多点查询为镜头」的组合把「模型是否在持续维护世界状态」这件事变得可观测、可拆解、可定位到具体失败环节。

评测三类系统：离线模型（Gemini-3-Flash 等商业模型与 Qwen3-VL 等开源模型）、在线流式模型（StreamingVLM、Dispider、LiveStar 等），引入 GPT-4-Turbo 盲文本基线与人类上下界。模型与人类差距巨大，周期计数几乎全面失效，商业模型精度更高，开源模型轨迹更平滑。

关键数据

SVCBench 把「流式多点查询观察预测轨迹」确立为诊断视频模型世界状态维护能力的范式，弥补了 OVO-Bench、StreamingBench 等在线评测查询窗口短、难施加长期累积状态压力的不足。它为需要压缩历史信息的流式架构提供了可定位失败环节（初始化、增量更新、跨时查询）的诊断工具，也为周期事件理解与身份持久性这两个薄弱点指明改进方向。

局限与不足

SVCBench 用计数作为状态维持能力的代理指标，覆盖的是「客观可验证」的那部分世界状态，而像「这个人是否做完饭了」这类主观、开放边界的状态变化被作者主动排除在外，因此基准本身无法覆盖状态维持能力的全貌，只是一个受控的诊断切片。周期事件计数类别依赖对 TOMATO 数据集视频做循环拼接来解决长时程周期视频稀缺的问题，虽然作者补充了 50 个自然长周期视频做验证，但循环拼接视频与自然场景在运动模式、背景变化等方面仍可能存在系统性差异。评测协议对离线模型采用「每个查询点截断视频重新输入」的方式，与在线模型的原生流式推理机制不完全对等，可能给两类架构带来评测上的不公平比较空间；此外基准仅覆盖英语问题格式和数字类答案，对多语言、多答案类型的状态维持任务未做探讨，标注数据规模（406 个视频、1,000 个问答）相对当前多模态基准的量级也偏小，可能限制其作为训练监督信号的直接可用性。