VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-TrainingVideoMAE：数据高效的自监督视频预训练

视频版掩码自编码器如何解决视频Transformer预训练依赖海量外部标注数据的问题。视频比图像多了「时间冗余」：若沿用图像75%的掩码比例，模型容易靠相邻帧对应像素插值完成重建，学不到有用表征。为此，VideoMAE提出「管状掩码」——让同一掩码沿时间轴在所有帧上共享位置，并把掩码比例推到90%~95%，逼迫编码器-解码器依靠高层语义才能重建像素。仅用目标数据集自身、不借助外部数据，VideoMAE在多个数据集上大幅超过从零训练与MoCo v3基线，证明「任务设计得更难」比「喂更多数据」更关键。

在VideoMAE之前，视频Transformer预训练多依赖ImageNet有监督预训练再迁移，或依赖对比学习（如MoCo v3）构造正负样本，前者依赖外部标注数据，后者需精心设计增强、大batch和防坍缩技巧，成本高。同期图像掩码自编码器（ImageMAE、BEiT）证明「掩码-重建」简单高效，但搬到视频上会遇新问题：视频帧高度冗余，普通掩码比例容易被相邻帧像素「泄漏」信息，重建太简单，学不出高层时空表征。

关键贡献

• 提出管状掩码（tube masking）策略，让掩码沿时间轴在所有帧上共享同一空间位置，消除模型靠相邻帧插值走捷径完成重建的可能。
• 发现视频掩码自编码器最适合的掩码比例远高于图像（90%~95% 对比 ImageMAE 的 75%），根源在于视频本身更强的时间冗余。
• 证明VideoMAE无需任何额外数据或标注，仅用目标数据集自身的几千到几十万段视频即可训练出高质量的ViT视频编码器。
• 在Kinetics-400、Something-Something V2、UCF101、HMDB51四个数据集上系统验证了VideoMAE相比从零训练和MoCo v3对比学习的显著优势，且训练集越小优势越明显。
• 揭示自监督视频预训练中数据质量比数据量更重要，预训练与下游数据之间的域偏移是决定迁移效果的关键因素。
• 把预训练模型成功迁移到时空动作检测任务AVA，证明学到的表征具有超出动作分类之外的通用性。

总体思路

VideoMAE把视频自监督预训练转化为一个「掩码-重建」任务：先把输入视频切成大量时空立方体（cube）token，再用极高比例（90%~95%）随机遮盖掉其中绝大多数立方体，只把剩下的少量可见token送入一个非对称的编码器-解码器，让解码器根据可见token和可学习的掩码token，在原始像素空间里重建被遮住的立方体。整个流程不依赖任何标注、也不依赖ImageNet等额外数据；预训练完成后解码器被直接丢弃，编码器单独取出接到下游任务（动作识别、时空动作检测）上做微调。

时间降采样与立方体嵌入

先按固定跨度 $\tau$ 对原始视频做跳帧采样，把连续的 t 帧压缩成 T 帧，再把每个 $2\times16\times16$ 的时空块当作一个token做立方体嵌入，把整段视频映射成如下数量的token：

$$N_{token}=\frac{T}{2}\times\frac{H}{16}\times\frac{W}{16}$$

Kinetics上 $\tau$ 取4，Something-Something上取2。这一步同时压缩了时间和空间维度，缓解了视频本身固有的时空冗余，也让后面的极高比例掩码在计算上变得可行。

管状掩码（tube masking）机制

对上一步得到的token集合，VideoMAE不是逐帧独立地随机遮盖，而是让同一空间位置在所有帧上共享同一个掩码，即先按 Bernoulli 分布采样一张二维掩码图，再把它沿时间轴复制到每一帧：

$$\mathbb{I}\left[p_{x,y,\cdot}\in\Omega\right]\sim\mathrm{Bernoulli}(\rho_{mask})，\ \text{且对所有时刻 } t \text{ 取值相同}$$

这样一来，任何一个被遮住的时空位置，在相邻帧对应位置也必然被遮住，消除了直接从邻帧「抄」像素完成重建的捷径，逼迫模型学习更长程的时空结构。

为什么掩码比例要推到90%~95%

这是论文里最反直觉的设计选择，也是它相比ImageMAE的关键区别。视频比图像有更强的时间冗余：相邻帧变化缓慢，如果按ImageMAE的75%掩码比例，编码器很容易靠邻近帧里对应位置的像素做简单插值完成重建，根本不需要学习任何高层语义，自监督信号就被「泄漏」掉了。论文的消融实验显示，只有把掩码比例推到90%甚至95%，重建任务才变得足够困难，模型才被逼着去理解整段视频的高层时空结构而不是做局部插值——这正是VideoMAE敢把掩码比例设得比图像领域激进得多的根本原因，也解释了为什么这一设计在运动更明显的Something-Something V2上收益远大于场景变化缓慢的Kinetics-400。

非对称编码器-解码器与重建目标

少量可见token（如仅10%）经过一个标准ViT编码器；解码器把编码器输出与可学习的掩码token按原始时空位置拼接、补上位置编码后，用若干层轻量Transformer block重建被遮住立方体归一化后的像素值，用均方误差损失做端到端监督：

$$\mathcal{L}=\frac{1}{|\Omega|}\sum_{p\in\Omega}\left|I(p)-\hat{I}(p)\right|^2$$

编码器只处理可见token，计算量随保留比例近似线性下降；解码器只在预训练阶段使用，下游微调时直接丢弃。这种非对称设计让极高掩码比例同时带来「任务更难」与「预训练更快」两个好处，实验中VideoMAE的预训练耗时仅为MoCo v3对比学习的三分之一左右。

联合空间-时间注意力骨干

VideoMAE直接采用未经改动的vanilla ViT做编码器，在自注意力层里让所有可见token（不区分来自哪一帧）两两做全局attention，即「联合空时注意力」。这类注意力的计算复杂度随token数量平方增长，原本会是视频建模的瓶颈，但由于编码器阶段只输入约10%的可见token，极高掩码比例恰好抵消了平方复杂度的问题，使得用最朴素的ViT架构做视频自监督预训练在计算上也可以负担得起，不需要为视频专门设计更复杂的稀疏或分解注意力结构。

小结

VideoMAE = 立方体嵌入压缩时空冗余 + 管状掩码消除邻帧抄近路 + 极高掩码比例逼迫学习高层语义 + 非对称编码器-解码器降低计算量，核心洞察是「视频的时间冗余不仅允许、而且需要比图像更激进的掩码比例」。

实验在Kinetics-400、Something-Something V2、UCF101、HMDB51及AVA上展开，统一以16帧vanilla ViT为骨干，先自监督预训练再端到端微调对比。结论：仅用目标数据集自身、不借助外部数据，VideoMAE即可全面超过从零训练和MoCo v3预训练，训练集越小优势越明显。

关键数据

VideoMAE首个证明「朴素ViT加高比例掩码重建」可在纯视频自监督预训练中媲美甚至超过对比学习方法，把ImageMAE的思路系统搬到时间维度，给出视频专属的关键设计（管状掩码、极高掩码比例）。它确立了「极端掩码比例+简单像素重建」这一后续视频掩码建模工作沿用的基本范式，也为数据稀缺场景下的视频表征学习提供了不依赖大规模标注数据的路径。

局限与不足

论文的局限主要有四点：一是联合空间-时间注意力的计算复杂度随可见token数量平方增长，一旦掩码比例降低或分辨率/帧数提高，预训练成本会迅速上升，论文本身也需要800~2400个epoch才能训练充分，绝对训练时间仍然不短；二是评测集中在剪辑好的（trimmed）动作识别任务和AVA时空检测，没有验证在视频生成、视频-语言对齐等更多样任务上的迁移能力；三是「极高掩码比例最优」这一结论建立在Kinetics、Something-Something等场景变化相对可控的数据上，论文自己也观察到Kinetics上高掩码比例带来的增益远小于Something-Something V2，对包含大量快速运动或频繁场景切换的视频是否依然成立并未验证；四是跨数据集迁移实验显示预训练与下游数据之间的域偏移会明显影响效果（如Kinetics预训练模型迁移到Something-Something V2反而不如直接在其自身数据上预训练），但论文只是观察到这一现象，并未给出量化诊断或缓解域偏移的具体方法。