基于遮挡感知稀疏3D手部关节的可控第一人称视频生成 · Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints

原文摘要 · English Abstract

Controllable video generation for complex hand-object interactions is a critical step toward building visual world models. However, existing methods often struggle to achieve fine-grained, 3D-consistent hand articulation in generated videos. By relying on dense 2D trajectories or implicit pose representations, they collapse crucial geometric structures into spatially ambiguous signals, leading to severe motion inconsistencies and hallucinated artifacts under egocentric occlusions. To address this, we propose leveraging sparse 3D hand joints as explicit control signals with three key advantages: explicit geometry to resolve occlusions, an intuitive interface for interactive editing, and cross-embodiment generalization to robotic hands. Built upon this, our efficient control module extracts occlusion-aware features from the source reference frame by penalizing unreliable visual features from hidden joints, and employs a 3D-based weighting mechanism to handle dynamically occluded target joints during motion propagation. Meanwhile, it directly injects 3D geometric embeddings into the latent space to enforce structural consistency. To facilitate robust training and evaluation, we develop an automated annotation pipeline, yielding 1M high-quality egocentric video clips paired with precise hand trajectories. Experiments demonstrate that our approach outperforms state-of-the-art baselines, generating high-fidelity egocentric videos with realistic hand-object interactions.

概要

第一人称手物交互视频生成要求在剧烈遮挡下仍保持三维一致的精细手部动作。现有方法依赖稠密2D点轨迹或隐式姿态编码，丢失深度与结构信息，手指交叠或被遮挡时易产生结构错乱与幻觉纹理。本文提出直接用稀疏3D手部关节作为显式控制信号：先在参考帧做遮挡感知的上下文聚合，剔除被遮挡关节的不可靠视觉特征；再用基于深度的3D加权机制把特征沿关节轨迹传播到后续帧，解决交叠错配；同时注入融合坐标与语义身份的3D几何嵌入维持结构一致性。为支撑训练评测，作者构建了基于Ego4D的百万级自动标注数据集，控制模块仅增加约2万参数。

早期可控视频生成多用稠密2D点轨迹（如Wan-Move、MotionStream）描述运动，这类方法丢弃手部刚性结构且不具备深度感知，面对复杂手物交互时动作细节失真。基于姿态的方法（如WAN-Fun+ControlNet）把姿态编码为隐式低频向量或投影成2D骨架图/掩码（如Mask2IV），前者抹平高频细节产生漂浮感，后者在手指交叠遮挡时会产生视觉混叠与歧义的前后顺序，且隐式表示难以支持交互式编辑。

关键贡献

提出用稀疏3D手部关节（而非稠密2D轨迹或隐式姿态）作为第一人称视频生成的显式控制信号，兼具遮挡消解、交互编辑与跨具身迁移三重优势。
设计遮挡感知的上下文聚合机制，在参考帧按深度排序与空间重叠计算遮挡概率，过滤被遮挡关节的污染视觉特征。
提出基于3D深度的加权传播机制，像可微Z-buffer一样在目标帧按深度优先级分配特征权重，解决手指交叠导致的特征错配。
构建融合3D坐标编码与可学习关节语义身份的几何嵌入，经因果3D卷积注入生成过程，弥补3D到2D投影丢失的结构信息。
搭建基于Ego4D的自动化标注与质量过滤流水线，产出百万级带精确3D手部轨迹标注的第一人称视频片段。
在Ego4D与跨域EgoDex数据集上系统验证方法优于掩码、姿态、轨迹类基线，并展示了交互式单关节编辑与机器人跨具身迁移能力。

方法详解（完整做法）

总体思路

框架建立在WAN 2.1图生视频扩散Transformer（DiT）之上：参考帧经VAE编码为初始潜变量，稀疏3D手部关节轨迹 $\mathbf{J}\in\mathbb{R}^{F\times N\times3}$ （ $N\le42$ ）作为显式运动引导。整体分三步：先在参考帧做「遮挡感知的上下文聚合」，从干净可见的关节处取纯净视觉特征；再把这些特征按3D深度加权，沿关节轨迹「传播」到后续各帧，解决遮挡导致的特征错配；最后把3D坐标与关节语义身份编码成「几何嵌入」直接注入DiT的输入通道，用因果3D卷积保证时序一致。整条控制支路只新增约2万参数，与主干LoRA微调联合训练。

遮挡感知的上下文聚合

在参考帧，每个关节先投影为2D坐标与视差（逆深度） $\mathbf{u}_i,d_i=\Pi(\mathbf{J}_i,\mathbf{K})$ ，再生成一个以该坐标为中心的高斯热图来聚合局部VAE特征，而不是只取单像素特征——手部关节极稀疏（ $N\le42$ ），单点特征不足以描述手物交互的局部上下文。为避免拇指遮住食指这类自遮挡把错误纹理采样进来，作者定义一个成对遮挡概率，同时考虑投影位置是否重叠与深度谁在前：

$P_{i \leftarrow j} = \exp\left(-\frac{\|\mathbf{u}_i-\mathbf{u}_j\|_2^2}{2\tau^2}\right)\cdot\sigma\big(\gamma(d_j-d_i)\big)$

遮挡门控的特征过滤

取每个关节相对其余关节的最大遮挡概率作为「不可见度」，用 $1$ 减去它得到可见度门控，再乘上归一化的高斯加权平均特征，从源头上抑制被遮挡关节贡献的污染特征：

$\mathbf{f}_i=\Big(1-\max_{j\neq i}P_{i\leftarrow j}\Big)\cdot\sum_{\mathbf{x}}\frac{\mathbf{M}_i(\mathbf{x})}{\sum_{\mathbf{x}'}\mathbf{M}_i(\mathbf{x}')+\epsilon}\cdot\mathcal{Z}_0(\mathbf{x})$

如果一个关节在源帧完全被遮挡（可见度趋近0），它对应的特征就被压到接近0，后续传播时自然不会把错误纹理带到未来帧——这是解决「源遮挡」幻觉问题的关键一步。

基于深度的加权传播（可微Z-buffer）

干净特征要沿轨迹传播到目标帧，但当前景手指划过背景手指时，两者投影区域会重叠，若只按空间距离简单叠加会把前后景特征混在一起。作者的做法是：每个关节在目标帧也生成高斯热图并取对应视差，用一个softmax把「空间接近度的对数」与「深度乘上可学习系数 $\lambda$ 」加在一起作logits，这样同一像素上更靠近相机的关节会自然拿到更大的权重，效果等价于一个可微的Z-buffer：

$\mathbf{A}_{i,t}(\mathbf{x})=\mathrm{softmax}_i\Big(\log\big(\mathbf{M}_{i,t}(\mathbf{x})+\epsilon\big)+\lambda\cdot d_{i,t}\Big)$

最终运动特征图是这些权重对源特征的加权求和，再乘上所有关节热图之和作为「总体不透明度」，用来屏蔽没有关节覆盖的背景区域：

$\mathcal{F}_{motion}(\mathbf{x},t)=\Big(\sum_{i=1}^{N}\mathbf{A}_{i,t}(\mathbf{x})\cdot\mathbf{f}_i\Big)\cdot\Big(\sum_{j=1}^{N}\mathbf{M}_{j,t}(\mathbf{x})\Big)$

为什么要显式建模深度而不是只靠2D注意力

如果去掉深度项 $\lambda\cdot d_{i,t}$ ，softmax权重就完全由空间距离决定，两根手指交叠处的权重会被同等分配，前景特征和背景特征各占一半，渲染出来就是两个手指的纹理混在一起或背景手指“透”到前景上。显式加入深度排序后，模型能像图形学里的Z-buffer一样只让最靠近相机的表面「赢家通吃」，这正是作者选择3D关节而非2D轨迹的核心原因：2D表示在设计上就没有深度这个自由度可用。

3D几何嵌入

仅靠传播的视觉特征还不够，因为3D到2D投影本身会压缩几何信息、模糊不同手指的语义身份。作者为每个关节构造一个融合「空间位置」与「语义身份」的嵌入：用正弦位置编码 $\gamma(\cdot)$ 把投影坐标与视差映射到连续频域，拼接一个可学习的关节身份向量 $\mathbf{E}_{id}[i]$ ，再过一个浅层MLP $\phi$ ：

$\mathbf{z}_{i,t}=\phi\big(\left[\gamma(\mathbf{u}_{i,t},d_{i,t})\,;\,\mathbf{E}_{id}[i]\right]\big)$

这些嵌入用同样的高斯热图splat到空间特征网格上得到稠密几何图 $\mathcal{F}_{geo}$ ，与运动特征 $\mathcal{F}_{motion}$ 拼接后，经一个因果3D卷积头（时间维非对称padding，只看历史帧不看未来帧）处理并做LayerNorm，得到最终注入DiT的几何控制体 $\mathcal{C}_{geo}$ ，再与噪声潜变量和参考图条件张量沿通道拼接送入骨干网络。

训练与推理

主干沿用WAN 2.1的流匹配（flow matching）目标：噪声 $x_0$ 与真实视频潜变量 $x_1$ 之间做线性插值路径 $x_t=(1-t)x_0+tx_1$ ，训练网络预测恒定速度场：

$\mathcal{L}=\mathbb{E}_{t\sim\mathcal{U}(0,1),x_0,x_1,c}\Big[\big\|v_\theta(x_t,t,c)-(x_1-x_0)\big\|^2\Big]$

骨干用LoRA（秩 $r=64$ ）微调，控制模块从零训练；训练中随机把5%的关节坐标置零，让模型学会在追踪失败或用户只给稀疏输入时也能合理补全动作。推理支持两种模式：给定完整轨迹序列驱动，或由用户在3D空间里拖动单个/若干关节做交互式编辑。

小结

这篇论文的关键不是又造了一个新的控制信号种类，而是把「3D几何」在控制信号里被2D投影悄悄丢掉的信息（深度排序、语义身份）重新显式地找回来，用遮挡概率、深度加权softmax和几何嵌入三件轻量组件堵住了2D轨迹/姿态方案在遮挡场景下的漏洞。

实验与关键数据

评测用Ego4D域内40条、跨域EgoDex30条序列，指标含FID/FVD/PSNR/SSIM（视频质量）与MPJPE/MPVPE（轨迹精度），基线覆盖Mask2IV、WAN-Fun、WAN-Move、MotionStream，并辅以2AFC用户研究。结论：本文方法视频质量与轨迹精度全面超过各基线。

关键数据

自动标注数据规模（Ego4D衍生）

约100万段带精确3D手部轨迹的高质量片段

评测基准规模

Ego4D域内40条序列 + EgoDex跨域30条序列

控制模块新增参数量

约2万（~20k）参数

消融：3D几何嵌入(3DGE)对视觉质量的提升

+11%（相对OCA+OP消融基线）

LoRA微调配置

基于WAN 2.1骨干，秩 r=64

训练算力与时长

16×NVIDIA GH200 GPU，约48小时

影响与局限

该工作把运动控制信号从2D轨迹/隐式姿态推进到显式3D稀疏关节，是继点轨迹控制（Wan-Move、MotionStream）之后、面向精细手部操作与机器人迁移的一个具体技术路径，证明了「几何显式化」对解决遮挡歧义的有效性，其数据管线与控制模块思路可被后续具身世界模型与VR渲染工作直接复用。

局限与不足

方法依赖上游3D手部重建（WiLoR）与追踪流水线的准确性，若检测或追踪本身出现系统性偏差，错误会直接传导为控制信号误差；遮挡概率与深度加权机制基于相机内参和单目深度估计，在深度估计本身不准或快速运动模糊场景下效果可能打折扣。此外框架聚焦手部关节控制，对手部之外的物体动力学、变形与接触力学没有显式建模，跨具身到机器人灵巧手仍需额外小规模微调才能对齐运动学差异，论文消融中部分性能提升的具体数值在可获取文本中未能完整保留，难以做更细粒度的逐指标归因。