ConsiSpace：用几何一致性约束视频空间推理 · ConsiSpace: Learning Geometric Consistency Matters for Video Spatial Reasoning

原文摘要 · English Abstract

Video spatial reasoning is essential for navigation-oriented perception and long-video question answering, where models must infer spatial relations across long horizons under changing viewpoints. However, existing multimodal large language models (MLLMs) remain largely semantic-centric, and often fail to reliably aggregate consistent spatial evidence from redundant video observations, leading to inefficient or unstable reasoning. To address these issues, we propose ConsiSpace, a geometry-consistency-aware framework for geometry-sensitive video spatial reasoning that turns spatial consistency into both an evidence organization principle and an explicit post-SFT learning signal. We build a geometry-consistent memory (GCM) including implicit evidence tokens and explicit geometric cues, and leverage efficient organization strategies to compactly preserve task-related spatial evidence. Furthermore, we utilize unified consistency self-supervised reinforcement learning (UC-SSRL) after supervised fine-tuning to improve cross-view stability, with answer-, metric-, and topology-consistency rewards. Extensive experiments on three spatial-reasoning benchmarks, VSI-Bench, OSI-Bench, and MMSI-Video-Bench, show consistent gains, improving the average score by 12.6 points over the strongest baselines.

概要

视频空间推理要求模型在长时间、多视角观测下稳定推断空间关系，但现有多模态大模型偏重语义理解，难以从冗余视频帧中聚合一致的空间证据，导致推理低效且视角变化下不稳定。ConsiSpace 把「几何一致性」同时用作证据组织原则和训练信号：构建几何一致性记忆（GCM），用相机位姿、深度等几何线索指导记忆写入、融合与检索以压缩冗余证据；监督微调后再做统一一致性自监督强化学习（UC-SSRL），用跨视角一致性作奖励提升稳健性。方法在三个空间推理基准上相比最强基线平均提升 12.6 分。

视频-MLLM 在空间推理上普遍偏语义：SpaceR、ViLaSR、Cambrian-S 等靠空间数据或推理格式增强能力，而 DUSt3R、VGGT 等几何基础模型能提供姿态、深度信号，Spatial-MLLM、VLM-3R、SpaceMind 等将其融合进 MLLM。但这些方法大多把几何信息当输入特征或训练监督，缺乏对「冗余证据如何写入、融合、检索」的显式控制，导致相邻帧空间证据重复存储、视角变化下回答不稳定。

关键贡献

提出几何一致性感知框架 ConsiSpace，把 3D 几何一致性同时用作证据组织原则与训练信号
设计几何一致性双记忆（隐式证据记忆 + 显式几何记忆），通过几何门控写入、一致性融合、几何过滤检索压缩冗余视频证据
提出统一一致性自监督强化学习 UC-SSRL，在 SFT 之后用答案、度量、拓扑三类一致性奖励提升跨视角稳定性
在 VSI-Bench、OSI-Bench、MMSI-Video-Bench 三个基准上系统验证，相比最强基线平均提升 12.6 分
构建 nuScenes-10K 室外空间推理数据并给出自动化、可程序验证的构造流程

方法详解（完整做法）

总体思路

ConsiSpace 面向的任务是：给定视频 $V=\{I_t\}_{t=1}^T$ 和问题 $q$ ，输出答案 $y$ 。整体流程为：双编码器分别从每帧提取语义视觉 token 与几何感知的空间 token/几何线索，写入一个「几何一致性记忆（GCM）」；GCM 按几何变化门控写入、按几何邻域做一致性融合，减少冗余存储；回答问题时先做语义粗检索再做几何精检索，取出证据和拓扑/度量摘要 token 一起喂给视频语言模型生成答案。训练上先做监督微调（SFT）学任务正确性，再用统一一致性自监督强化学习（UC-SSRL）在不引入新标注的前提下用跨视角一致性奖励精炼模型的视角稳健性。

双编码器特征提取

每帧 $I_t$ 先经冻结的 SigLIP2 视觉编码器 $E_{\text{vis}}$ 得到语义视觉 token，再经冻结的几何基础模型 VGGT 编码器 $E_{\text{spa}}$ （可条件化在前序帧上）得到空间 token 与显式几何线索（相机位姿、深度图）：

$X_t = E_{\text{vis}}(I_t),\quad X_t\in\mathbb{R}^{N\times d}, \qquad S_t, G_t = E_{\text{spa}}(I_t\,;\,I_{<t})$

其中 $G_t$ 包含相机位姿 $T_t$ 与逐帧深度图 $D_t$ 。语义特征负责提供记忆内容，几何特征负责提供一致性判断的依据，两条支路的职责在后续模块中被显式拆开。

几何一致性双记忆

记忆 $\mathcal{M}$ 分为隐式空间记忆 $\mathcal{M}_{\text{imp}}$ （存视觉+空间证据 token，供检索）和显式空间记忆 $\mathcal{M}_{\text{exp}}$ （存位姿与深度，供几何控制）。每帧打包成一条记忆条目：

$e_t=\textsc{Pack}(X_t, S_t), \qquad g_t=(T_t, D_t)$

这种「证据表示」与「几何控制信号」分离的设计，使得几何线索可以单独驱动写入、融合、检索三个操作，而不必和语义证据耦合在一起处理。

几何门控写入

相邻帧往往高度冗余，若逐帧写入会浪费存储和算力。ConsiSpace 用相机位姿推出的位置 $p_t$ 与朝向 $v_t$ 计算帧间运动与视角变化：

$\Delta p_t=\|p_t-p_{t-1}\|_2,\qquad \Delta\theta_t=\angle(v_t,v_{t-1})$

只有当变化超过阈值时才写入新证据：

$\textsc{write}(t)=\mathbb{I}\left[\Delta p_t>\tau_p\ \lor\ \Delta\theta_t>\tau_\theta\right]$

为什么这么设计：静态场景下平滑的视角变化不会带来新的空间信息，用几何变化量而非内容相似度做写入开关，既避免了对每帧都算语义相似度的开销，又天然贴合「空间关系在平滑视角变化下应保持不变」这一物理先验，这正是论文把几何一致性当作证据组织原则的核心体现。

几何一致性融合与检索

触发写入后，在几何邻域 $\mathcal{N}(t)=\{j:\|p_t-p_j\|<r,\angle(v_t,v_j)<\theta\}$ 内按证据语义相似度挑选融合目标：

$j^\star=\arg\max_{j\in\mathcal{N}(t)}\cos(k_t,k_j),\qquad k_t=W_k e_t$

命中则融合进 $e_{j^\star}$ ，否则新建条目，从而进一步压缩几何相近、语义相似的重复证据。检索阶段采用「粗到精」两级策略：先用文本查询向量在块级做语义召回，

$s_c(j)=\cos(q_e,k_j^c),\qquad C_{\text{topk}}=\textsc{TopK}(\{s_c(j)\},K_c)$

再在候选块内用语义与几何方向的加权分数做帧级精筛：

$s_f(i)=\alpha\cos(q_e,k_i^f)+\beta\cos(Q_{\text{topo}}, e_i^{\text{dir}})$

并额外用查询条件化的交叉注意力生成拓扑、度量两类全局摘要 token $z_{\text{topo}}, z_{\text{metric}}$ ，与检索到的证据、几何线索一起拼接送入语言模型。

统一一致性自监督强化学习（UC-SSRL）

SFT 之后，模型可能在不同时间窗口或不同检索证据下对同一问题给出不同答案，暴露出空间定位的脆弱性。UC-SSRL 用「两视角采样器」为同一 $(V,q)$ 构造两组观测 $o_i=\mathcal{S}(V,q;\xi_i)$ 、 $o_j=\mathcal{S}(V,q;\xi_j)$ （如两个时间窗口或两套检索证据），分别得到预测分布 $\pi_i,\pi_j$ ，用三类奖励约束跨视角一致性：答案一致性惩罚分布散度

$R_{\mathrm{KL}}=-\alpha\,\mathrm{KL}(\pi_i\|\pi_j)$

度量一致性约束两视角估计的数值差

$R_{\mathrm{metric}}=-\eta\,|\hat d_i-\hat d_j|$

拓扑一致性约束关系分布的对称散度

$R_{\mathrm{topo}}=-\beta\left(\mathrm{KL}(P_i\|P_j)+\mathrm{KL}(P_j\|P_i)\right)$

三者相加得统一奖励 $R=R_{\mathrm{KL}}+R_{\mathrm{metric}}+R_{\mathrm{topo}}$ ，用策略梯度式目标优化，且只更新 LoRA 参数。为什么这么设计：若场景的真实 3D 关系是稳定的，不同视角/证据下的正确预测理应相互吻合，因此一致性本身就能当作无需人工标注的自监督信号——这把「几何一致性」从证据组织延伸成了后训练阶段的显式学习目标，是区别于 Spatial-SSRL 等依赖内在 pretext 任务方法的关键。

小结

ConsiSpace 的关键是把「几何一致性」同时用作两件事——证据该不该写入/该怎么合并检索的组织准则，以及 SFT 之后该优化什么的奖励信号——用一套一致的几何假设打通了效率和稳健性两个问题。

实验与关键数据

基于 Qwen3-VL-8B 加 LoRA，视觉/几何编码器用冻结 SigLIP2、VGGT，在 VSI-590K 与 nuScenes-10K 上先 SFT 再做 UC-SSRL。与 GPT-4o/Gemini 及 VLM-3R、SpaceMind 对比，三个基准全面领先，消融证实记忆操作与奖励均有增益。

关键数据

VSI-Bench 平均分

76.6

vs SpaceMind 69.6（+7.0）

OSI-Bench 平均分

53.0

vs VLM-3R 40.3（+12.7）

MMSI-Video-Bench Sufficient-Coverage 平均分

57.5

vs VLM-3R 42.6（+14.9）

MMSI-Video-Bench Uniform-50 平均分

58.1

vs VLM-3R 43.1（+15.0）

三基准平均提升（相比各自最强基线）

+12.6 分

50 帧输入下显存占用

22.0 GB

vs VLM-3R 24.8 GB（-2.8GB）

影响与局限

该工作把近期「几何基础模型（DUSt3R/VGGT）+ MLLM」的融合路线从单纯的特征输入，推进到用几何一致性管理长视频记忆全生命周期（写入/融合/检索）并作为后训练强化学习信号的系统性方案，为后续长视频空间推理的记忆设计和跨视角稳定性优化提供了可复用的范式。

局限与不足

方法高度依赖冻结的 VGGT 几何编码器给出的位姿与深度估计质量，论文虽然做了噪声鲁棒性实验显示性能随几何噪声增大而平滑下降，但在真实世界强遮挡、弱纹理或快速运动场景下 VGGT 本身的位姿/深度估计可能系统性失准，此时几何门控写入和一致性融合的判断依据会变得不可靠。此外几何门控写入、融合半径、检索权重等依赖多个预设阈值（ $\tau_p,\tau_\theta,r,\theta,\alpha,\beta$ ），论文未充分讨论这些超参数在不同场景尺度（室内小场景 vs 室外大场景）下的敏感性和迁移成本。UC-SSRL 的两视角采样器构造策略（时间窗口/检索上下文的随机化方式）也依赖人工设计，其对最终一致性奖励质量的影响缺乏系统分析。