Geometry-as-context: Modulating Explicit 3D in Scene-consistent Video Generation to Geometry Context几何即上下文：把显式三维信息调制进场景一致性视频生成

场景一致性视频生成要求模型沿给定相机轨迹探索三维场景并保持几何与纹理一致。传统重建式方法用「几何估计→三维重建→渲染→补全」的多模型迭代管线实现一致性，但渲染反投影等操作不可微、各步骤模型独立训练，误差会像蝴蝶效应一样逐帧累积且无法用端到端方式缓解。本文提出 geometry-as-context（GaC），把这条管线整体折叠进一个可微的自回归相机控制视频生成模型：模型依次生成当前视图的几何、下一视角的渲染与补全结果，所有步骤共享参数并联合训练，从根本上避免了非可微算子和多模型拼接带来的累积误差。

场景一致性视频生成此前分两条路线：纯视频生成模型靠外部记忆检索维持一致性，复杂场景、大幅相机运动下仍难维持三维一致；重建式方法（SceneScape、ViewCrafter、GEN3C、Voyager 等）用深度图/点云/3DGS 显式重建再渲染补全，一致性更稳，但反投影与渲染不可微，几何估计器与补全模型独立训练，误差随迭代逐帧累积，难以像长视频生成那样用训练技巧缓解。

关键贡献

• 把不可微、非端到端的重建式场景生成管线，重新表述为可用单一自回归生成模型联合训练的序列建模问题
• 提出「几何即上下文」这一变体：让模型先输出当前视图几何再生成下一视角图像，用几何监督显式注入三维一致性
• 设计相机门控注意力（CGA），用 Plücker 射线特征同时调制注意力的 query 与输出门控，使相机位姿在几何估计与视图合成两类任务中发挥不同作用
• 提出文本引导的图像-几何交错建模，并配合几何上下文随机丢弃策略，在几乎不损失性能的情况下大幅降低训练与推理开销
• 在 RealEstate10K 与 Tanks-and-Temples 上对单向及往返相机轨迹进行系统评测，验证了方法在场景一致性与相机控制精度上的优势

总体思路

GaC 把「几何估计 → 三维重建 → 渲染 → 补全」这条依赖非可微算子、由多个独立模型拼接而成的传统重建式场景生成管线，重新表述为一个统一的、可微的自回归视频生成序列：给定参考图像与目标相机位姿序列，模型依次输出当前视图的几何图（深度图）、下一视角的渲染/补全图像，所有步骤共享同一组参数并联合训练。为了让模型分清「现在该出几何还是该出图像」，论文进一步设计了相机门控注意力和文本引导的交错训练策略。

从迭代重建到统一生成模型

传统管线可写成几何估计、三维反投影、渲染、补全四步：

$$G_i = \epsilon(I_i), \quad I'_{i+1} = \text{Render}(\text{Unproject}(I_i, G_i), P_{i+1}), \quad I_{i+1} = \varrho(I'_{i+1}, P_{i+1})$$

其中反投影与渲染不可微，且几何估计器 $\epsilon$ 与补全模型 $\varrho$ 是两个独立网络，梯度无法在它们之间传递，误差会随迭代逐帧放大。GaC 先用一个可微生成模型 $\varphi$ 直接模拟「按几何与目标位姿完成图像变形」这一步，再进一步把几何估计、变形、补全统一交给同一个相机控制生成模型 $\varrho$ 处理：

$$\{G_i, I'_{i+1}, I_{i+1}\} = \varrho(\{I_i, G_i, I'_{i+1}\}, P_{i+1})$$

这一步是整篇论文的关键转折：只要三个子任务的输入输出都被塞进同一个自回归序列，梯度就能在几何预测、视图变形、图像补全之间自由流动，不再受限于不可微的反投影/渲染算子。

几何即上下文的三种变体

论文比较了三种把上述统一公式简化的方式。变体一「几何即上下文」合并变形与补全，模型先估计几何再直接生成补全后的下一视角图像：

$$\{G_i, I_{i+1}\} = \varrho(\{I_i, G_i\}, P_{i+1})$$

变体二「变形图即上下文」合并几何估计与变形，模型输出点云渲染图与补全图但完全跳过几何理解；变体三「无上下文」则退化为纯视频生成 $\{I_{i+1}\} = \varrho(I_i, P_{i+1})$，彻底放弃三维重建环节。三者中，变体一因序列更短、显式引入几何监督、且几何与 RGB 两种模态差异明显便于模型区分任务，被选为最终训练方案；变体二三缺乏三维几何约束，一致性明显更差，因此未被采用。

相机门控注意力（CGA）

由于同一模型要同时完成几何估计和视图合成两类任务，简单的相机位姿加法或拼接条件不足以让模型区分「相机信息此刻该驱动哪种输出」。CGA 用 Plücker 射线特征 $r_i$ 同时调制注意力的 query 与输出门控：

$$\{Q,K,V\} = \text{Linear}_1(F_i), \qquad \{Q_{res}, Gate\} = \text{Linear}_2(Q + r_i)$$

$$O = \text{SDPA}(Q+Q_{res}, K, V), \qquad O = \text{Linear}_3\big(O \cdot \sigma(Gate)\big)$$

之所以要「查询调制 + 门控」双重作用而不是单纯把位姿加到特征上，是因为相机位姿在几何估计和新视角合成两个任务里扮演的角色不同：前者需要位姿帮助推断当前视图的深度结构，后者需要位姿直接决定目标视角的像素排布。sigmoid 门控让网络自己学会「这一层的相机信息该在多大程度上通过」，从而把两种角色解耦。

文本引导的交错建模与几何丢弃

训练序列被组织成图像与几何交替出现、由特殊文本 token 标注下一步任务的形式：

$$\{I_i, \texttt{<Geometry>}, G_i, \texttt{<Image>}, I_{i+1}, \dots\}$$

这让模型能依据文本上下文判断接下来该输出几何还是 RGB 图像，也让用户能用自然语言主动介入生成流程。但几何上下文会让序列长度翻倍，且推理时用户往往不需要几何输出，因此论文引入几何上下文随机丢弃：以比例 $r\in(0,1)$ 随机移除序列中的几何段，被移除处前后帧退化为变体三的直接图像到图像预测。这样模型仍能从保留的几何监督里学到三维一致性，又具备在推理时跳过几何、仅生成 RGB 的能力，兼顾了训练效率与推理灵活性。

小结

GaC 的核心是把重建式场景生成里「非可微、多模型拼接」的迭代管线折叠成一个可端到端训练的自回归生成序列，几何预测本身既是训练时的显式三维监督信号，也是可在推理时按需丢弃的中间产物。

以 Bagel-7B 为基座，在 RealEstate10K 上训练，于其测试集与相机运动更大的 Tanks-and-Temples 上评测单向与往返轨迹，指标含 PSNR/SSIM/LPIPS/FID 及位姿误差。GaC 全面超过多个基线，但往返轨迹下各方法性能均明显下降。

关键数据

GaC 把重建式场景视频生成中长期存在的「非可微、多模型拼接导致误差累积」问题，转化为一个可端到端训练的生成建模问题，为后续把显式三维信号（深度、点云等）无缝嵌入视频扩散/自回归生成模型提供了一种可复用的序列化范式。

局限与不足

论文自身的往返轨迹实验显示，所有方法（包括 GaC）在相机往返、需要回忆此前已见过的场景内容时性能都明显下降，说明当前的上下文记忆机制（仅依赖有限的 1-4 帧上下文视图）难以支撑长期三维记忆，作者也指出更强的长期上下文记忆策略是关键的未来方向。此外，几何真值依赖对 Hunyuan-Voyager 深度估计策略的改进而非独立的高精度三维重建，几何质量本身仍受限于单目深度估计器的误差；训练需要在可变序列长度下使用 FSDP 并将 batch size 限制为 1，训练效率和可扩展性受到一定制约；方法目前仅在 RealEstate10K/Tanks-and-Temples 这类相对结构化的室内外场景上验证，对更复杂动态场景或与真实三维重建精度的对比也未充分展开。