VideoNet: A Large-Scale Dataset for Domain-Specific Action RecognitionVideoNet：面向领域特定动作识别的大规模数据集

随着通用视觉-语言模型（VLM）不断进步，学界逐渐放弃了对「动作识别」这一经典任务的系统评测，原因是缺乏足够多样、具有挑战性的数据。VideoNet 用自顶向下的分类体系覆盖 37 个领域的 1000 个细粒度动作，通过五重人工复核的标注流水线构建高质量测试集，并用视频标题、字幕等弱监督信号自动化收集大规模训练数据。实验发现现有 VLM 在多选、二分类零样本、少样本设置下普遍表现不佳，少样本学习能力远逊于人类；但针对性的后训练能带来接近人类少样本提升的效果，使 4B 模型超越现有 8B 开源模型。

此前的动作识别数据集要么标签粗粒度（如某基准里「攀岩」只有单一类别，InternVideo2在此类粗粒度标签上已达92.1%），要么虽细粒度却不覆盖多领域：Ego-Exo4D仅8个领域，其728条攀岩视频全部拍自2家攀岩馆、视觉多样性差；Ego4D局限于第一人称视角；ActionAtlas仅聚焦56种体育项目，规模只有VideoNet的五分之一且未提供训练数据。VLM社区因此逐渐放弃了对动作识别能力的系统评测。

关键贡献

• 构建覆盖37个领域、1000个细粒度动作的域特定动作识别基准，测试标签经专家复核准确率达97%。
• 设计不依赖领域专家的人机协同标注流水线，把k路动作分类简化为逐片段的二分类判断以降低标注难度。
• 提出LLM生成候选加推理模型过滤的难负样本构造方法，避免模型靠场景背景抄近路。
• 收集16万到50万片段规模的全自动训练数据集，微调4B模型后超过现有全部8B开源VLM。
• 系统评测VLM在域特定动作上的零样本与少样本学习能力，发现其提升幅度远逊于人类。

总体思路

VideoNet 的核心是用「自顶向下的分类体系」加「人机协同标注流水线」构建一个覆盖 37 个领域、1000 个细粒度动作的高质量评测基准；同时用完全自动化的弱监督信号（视频标题、字幕、定位模型）构建 16 万至 50 万片段规模的训练集，验证 VLM 在域特定动作识别上的短板能否靠后训练缓解。全文分三部分：基准构建（动作分类体系 → 人工标注流水线 → 难负样本生成 → 组成多选/二分类两套测试集）；训练数据构建（爬取视频 → 用定位模型抽取候选片段 → 三种过滤策略生成弱监督标签）；实验分析（在零样本、少样本、微调三种设定下评估 8 个 VLM 与人类）。

自顶向下的动作分类体系

先列出覆盖日常生活（如美食）、需要专业知识（如医疗）、需要高帧率捕捉快速动作（如体育）等类别，再在每个类别下寻找有足够视频与可信专家内容的领域，最后从领域专家撰写的资料中收集动作列表，并用 LLM 联网检索扩充与校对动作定义，剔除网上视频数量不足的动作。整个分类体系最终收敛到：

$$\sum_{d=1}^{37}|\mathcal{A}_d| = 1000$$

即 37 个领域下动作数量之和恰为 1000 个动作。

三阶段标注流水线与多数投票

流水线分三步：先请 Prolific 标注员为每个动作在网上找 7 条候选片段；再让标注员把每条候选片段判成「包含动作且裁剪良好」「包含动作但裁剪不佳」「不包含动作」三档，取 3 名标注员的多数投票作为最终判断；最后专门训练一名标注员依据已确认良好的片段做「专家」，去修正裁剪不佳片段的时间边界。多数投票可写成：

$$\hat{v}(c)=\mathbb{1}\Big[\textstyle\sum_{i=1}^{3}\mathbb{1}[a_i(c)=\text{contains}]\ge 2\Big]$$

其中 $a_i(c)$ 是第 $i$ 位标注员对片段 $c$ 的判断。把「这个片段是不是这 1000 个动作之一」的 k 路分类问题降维成逐片段的二选一判断，是这条流水线能在不依赖领域专家的前提下保证质量的关键设计。

难负样本挖掘：LLM 生成加推理模型过滤

若直接在同一领域内随机采样其他动作作为负样本，模型可能仅凭场景、背景等静态线索就能分辨（例如扣篮与罚球的场地布局完全不同），而不必真正看懂动作过程。VideoNet 先用 LLM 为每个正例动作生成外观相近、仅在细微视觉或运动特征上不同的候选负样本（例如空接扣篮 vs. 补篮），再用一个推理模型过滤掉与正例可能同时发生、或界定含糊的候选，从而保证负样本「像」但不「错」。

评测协议：多选、二分类零样本与少样本

多选设置下，每条片段配 1 个正确标签与 3 个难负标签构成 4 选 1 问题，共 5000 题（留出 1000 题作验证集）；二分类设置下，每个动作取前 3 条片段作为上下文示例，剩余 2 条为正例测试片段，再配 2 条难负标签对应的负例测试片段，构成 3 示例 + 2 正 + 2 负、总计 4000 题的测试集。两种设置的随机猜测基线分别为：

$$P_{\text{多选,随机}}=\frac14=25\%,\qquad P_{\text{二分类,随机}}=\frac12=50\%$$

把多选拆成二分类是为了单独控制视觉少样本示例的数量——若在 4 选 1 问题的每个选项上都配 3 个示例视频，一次问题就要塞进 12 段视频，这超出多数模型的可用上下文。

自动化训练数据构建与三种过滤策略

人工标注流水线质量高但成本高，无法扩展到训练规模。VideoNet 转而利用视频自带的标题与字幕作弱监督信号：按领域从动作名构造搜索查询爬取相关视频，用 Gemini 2.5 Flash 在视频中定位候选动作片段的起止时间，再用 WhisperX 抽取字幕的词级时间戳，最后用三种规则给候选片段打标签——「字幕匹配」要求动作名出现在片段附近的字幕窗口内：

$$\text{label}(c)=a\ \text{若}\ \exists\,\tau\in\text{Transcript}:\text{name}(\tau)=a\ \wedge\ |t(\tau)-t_{\text{start}}(c)|\le T,\ T=1\text{s}$$

「严格匹配」在此基础上再要求动作名同时出现在标题里；「标题单片段」则要求动作名出现在标题中且定位模型在整段视频里只找到一个候选片段，直接把标题里的动作标给这唯一的片段。三种策略在准确率与覆盖率之间做了不同取舍：过滤越严格，标签越干净但样本越少。

小结

VideoNet 真正的关键不是某一个模块的巧思，而是把「不靠领域专家也能规模化标注」和「不靠人工标注也能规模化收集训练数据」这两件事同时做成：前者靠把 k 路分类降维成逐片段二分类的标注设计，后者靠标题/字幕弱监督加三种过滤策略的取舍。

完整流程。 构建动作分类体系 → 三阶段人工标注加专家复核产出 5000 条测试片段 → LLM 生成难负样本并组成多选/二分类测试集；另起一条自动化流水线：爬取 800 万视频 → Gemini 定位候选片段 → 三种过滤策略产出 16 万至 50 万训练片段 → 每条片段生成 3 条视频问答对，用于微调 Molmo2-4B。

在3个开源8B模型、4个闭源模型（Gemini/GPT系列）上评测多选、二分类零样本与1/2/3-shot设置，并让非专家人类回答698道题作对照；同时用三种过滤策略产出的数据微调Molmo2-4B。结果显示闭源模型全面领先开源模型，少样本对VLM帮助有限，后训练效果更显著。

关键数据

VideoNet把「动作识别」这一在VLM时代被逐渐忽视的经典任务重新带回评测视野，其领域覆盖（37个）与训练集规模远超Ego-Exo4D、ActionAtlas等已有域特定动作数据集，为后续研究细粒度动作理解、视觉少样本学习与领域特定后训练方法提供了标准化基准和大规模弱监督数据来源。

局限与不足

部分动作（如「美食」类目中的空气炸锅烹饪）仅凭静态物体识别就能猜对，很难构造真正意义上的难负样本，随着模型能力提升这类子集可能很快饱和，需要后续构造更难的子集；专家复核只覆盖7个大类里各选一个领域、共620条片段，把97%的准确率外推到全部5000条片段的做法假设了同类目内难度均匀，未必成立；二分类少样本设置受模型可用上下文长度限制（如InternVL3.5最多支持64帧输入），难以支持更多示例、也难判断少样本收益是被示例数量本身还是被上下文瓶颈限制；自动化训练数据依赖标题与字幕的弱监督标签，噪声较大，且过滤越严格样本越稀疏，在杂耍等长尾领域反而会因覆盖不足而损失准确率。