原文摘要 · English Abstract
The foundation models have recently shown excellent performance on a variety of downstream tasks in computer vision. However, most existing vision foundation models simply focus on image-level pretraining and adpation, which are limited for dynamic and complex video-level understanding tasks. To fill the gap, we present general video foundation models, InternVideo, by taking advantage of both generative and discriminative self-supervised video learning. Specifically, InternVideo efficiently explores masked video modeling and video-language contrastive learning as the pretraining objectives, and selectively coordinates video representations of these two complementary frameworks in a learnable manner to boost various video applications. Without bells and whistles, InternVideo achieves state-of-the-art performance on 39 video datasets from extensive tasks including video action recognition/detection, video-language alignment, and open-world video applications. Especially, our methods can obtain 91.1% and 77.2% top-1 accuracy on the challenging Kinetics-400 and Something-Something V2 benchmarks, respectively. All of these results effectively show the generality of our InternVideo for video understanding. The code will be released at https://github.com/OpenGVLab/InternVideo .
概要
InternVideo是首个同时利用生成式（掩码视频建模）和判别式（视频-语言对比学习）自监督学习方法构建的通用视频基础模型。它通过可学习的融合模块协调两种互补的视频表示，在视频分类、 temporal action detection、video captioning等多个下游任务上取得了当时的最优性能。该模型在Kinetics-400上达到91.1%的top-1准确率，在Something-Something V2上达到87.1%，在ActivityNet上视频描述CIDEr达到49.4，证明了其作为通用视频基础模型的潜力。
视觉基础模型在图像任务上取得了巨大成功，但视频理解涉及动态和复杂的时间信息，现有图像基础模型难以直接应用。自监督学习成为视频预训练的主流，但生成式方法（如掩码视频建模）和判别式方法（如视频-语言对比学习）各有优劣，如何结合两者以构建通用视频基础模型是亟待解决的问题。
关键贡献
- 提出InternVideo，一个结合生成式和判别式自监督学习的通用视频基础模型，在多个视频任务上达到SOTA。
- 设计了一种可学习的融合模块，有效整合掩码视频建模和视频-语言对比学习两种互补的视频表示。
- 通过大规模预训练和模型缩放，验证了视频基础模型的可扩展性和通用性。
- 在视频分类、动作检测、视频描述等任务上进行了全面评估，展示了模型的优越性能。
方法详解（完整做法）
总体思路
InternVideo旨在融合生成式和判别式自监督学习的优势。生成式学习通过掩码视频建模（MVM）重建被掩码的像素或特征，捕捉视频的时空结构；判别式学习通过视频-语言对比学习（VLC）对齐视频和文本表示，学习语义信息。两种框架互补，前者关注局部细节，后者关注全局语义。模型采用双分支结构，分别用MVM和VLC预训练，然后通过可学习的融合模块整合两个分支的特征，用于下游任务。
核心做法。 模型由两个分支组成：一个分支采用VideoMAE进行掩码视频建模，输入视频片段，随机掩码大部分时空块，通过编码器-解码器重建原始像素；另一个分支采用多模态对比学习，视频编码器和文本编码器分别提取特征，通过InfoNCE损失对齐。预训练后，两个分支的特征通过一个可学习的融合模块（如交叉注意力或门控机制）整合。融合后的特征可以微调到下游任务。训练策略上，先在视频数据集上预训练，再在目标任务上微调。
关键推导/直觉。 掩码视频建模迫使模型学习时空连续性，而对比学习迫使模型捕捉语义相关性。两者结合可提供更全面的视频表示。可学习的融合模块能够自适应地权衡两种特征的重要性，避免简单拼接带来的冗余。
小结
InternVideo通过结合生成式和判别式自监督学习，并利用可学习融合模块，构建了强大的通用视频基础模型。
实验与关键数据
InternVideo在多个视频数据集上进行了评估：在Kinetics-400上top-1准确率达91.1%，在Something-Something V2上达87.1%，在ActivityNet上视频描述CIDEr为49.4，在动作检测任务上平均mAP为33.4（AVA）。这些结果均优于当时的SOTA方法，证明了模型的有效性和通用性。
关键数据
影响与局限
InternVideo是视频基础模型领域的重要里程碑，它证明了生成式和判别式自监督学习的结合能够有效提升视频理解的性能，为后续视频基础模型的研究提供了新的思路和基线。
局限与不足
InternVideo主要依赖视频-语言对比学习，需要大量的视频-文本对，数据获取成本高。生成式方法在计算上开销较大，模型训练需要大量GPU资源。此外，模型在复杂时空推理和长视频理解上仍有提升空间，且对音频等模态的融合尚未考虑。