RAVEN: Robust Advertisement Video Violation Temporal Grounding via Reinforcement ReasoningRAVEN：基于强化推理的广告视频违规时序定位

广告视频违规检测不仅要判断违规类别，还要精确定位违规片段，但工业场景下的时序标注天然存在误差和粗粒度问题，传统监督微调（SFT）会被噪声标注带偏，还容易导致通用能力的灾难性遗忘。RAVEN 用强化学习替代 SFT：以 Qwen2.5-VL 为基座，设计格式奖励、时序IoU奖励、边界对齐奖励、类别一致性奖励等分层奖励，配合课程学习先在精标数据打基础、再用大规模粗标数据扩展、最后混合微调，用 GRPO 让模型无需人工推理标注即可涌现结构化思维链，在噪声标注下学到准确的时序定位能力，并已在腾讯广告审核系统中部署验证。

此前的广告违规检测多依赖小规模视觉模型，泛化能力有限；随着 MLLM 发展，业界转向「标注违规类别+时序区间→对 MLLM 做 SFT」的两步流程。但帧级时序标注成本极高，工业数据里区间标注普遍存在偏差或粗粒度问题，SFT 会强行拟合带噪标签 $Y_c$，偏离真实区间 $Z_c$，且已被指出会造成跨域泛化差、灾难性遗忘、缺乏显式推理等问题，促使作者转向强化学习范式。

关键贡献

• 提出 RAVEN，首个将课程强化学习与多模态大模型结合用于广告违规时序定位的框架。
• 设计分层奖励机制（格式奖励、时序IoU奖励、边界对齐奖励、类别一致性奖励），在不提供任何推理标注的情况下诱导模型涌现结构化思维链。
• 提出三阶段课程强化训练策略，让模型能够鲁棒地利用大规模粗标注工业数据，同时保留精标数据带来的边界精度。
• 构建了覆盖38000训练视频、5000精标测试视频的工业级违规检测数据集，并在公开的 MultiHateClip 数据集上验证泛化能力。
• 设计并落地了 RAVEN 在线广告审核部署流水线，在真实业务的日级 A/B 测试中验证了精度和召回率的显著提升。
• 实验证明 RL 训练相较 SFT 能显著缓解跨类别泛化时的灾难性遗忘问题。

总体思路

给定一段广告视频 $V$、预定义违规标签集合 $T$ 和提示词 $P$，RAVEN 需要同时输出视频命中的违规类别 $C=\{c_1,\dots,c_n\}$ 以及每个类别对应的时序区间 $X_c=(t_c^l,t_c^r)$。整体流程是：把 Qwen2.5-VL 作为推理模型 $F_{reason}$，先用结构化提示词让模型在 <think> 标签内生成逐步推理过程，再在 <answer> 标签内输出结构化的类别与区间预测；训练阶段完全不使用人工标注的推理数据，而是通过分层奖励与课程式 GRPO 强化学习，让模型在处理大规模、噪声较大的工业标注数据时自主涌现出可靠的推理与定位能力。

结构化推理的问题建模

模型需要根据视频、标签集合与提示词生成类别与区间预测，这一过程被形式化为：

$$C, X = F_{reason}(V, T, P)$$

人工标注得到的区间 $Y_c=(y_c^l,y_c^r)$ 往往和真实区间 $Z_c=(z_c^l,z_c^r)$ 存在偏差，如果用 SFT 强行让模型拟合 $Y_c$，会把标注噪声也学进去；RAVEN 转而用奖励信号引导模型逼近 $Z_c$，从而对标注误差更鲁棒。

数据构造与课程学习

工业场景下能够保证违规类别标注基本准确，但受限于标注成本，时序区间标注只有一小部分是精确的，大部分是粗粒度的。RAVEN 据此把训练数据分成「精标」和「粗标」两部分，按课程学习的思路组织训练顺序——先用精标数据打好区间定位的基础，再逐步引入大规模粗标数据扩展覆盖面，全程不需要额外生成离线的推理过程数据，即无需「冷启动」阶段。

分层奖励设计

奖励函数决定了强化学习的优化方向。RAVEN 设计了格式奖励（思考格式奖励、软/严格两级时序格式奖励）与准确率奖励两大类，其中准确率奖励又分为主奖励、辅助奖励与正则化奖励。时序IoU奖励作为主奖励，为了抵抗标注噪声，先算预测区间与标注区间的IoU再做二值化：

$$R_{IoU}=\begin{cases}1 & \text{if } IoU(X_c,Y_c)>0.5\\0 & \text{otherwise}\end{cases}$$

辅助的时序边界对齐奖励是连续值，鼓励预测边界 $(t_c^l,t_c^r)$ 逼近标注边界 $(y_c^l,y_c^r)$：

$$R_{Boundary}=\exp\!\left(-\sigma^2\left[(t_c^l-y_c^l)^2+(t_c^r-y_c^r)^2\right]\right)$$

正则化的违规类别一致性奖励则是简单的二元匹配：

$$R_{Category}=\begin{cases}1 & \text{if } c_p=c_g\\0 & \text{otherwise}\end{cases}$$

为什么用二值化IoU而不是连续回归损失

直接用连续的IoU或坐标回归损失去拟合带噪声的标注区间 $Y_c$，本质上仍是在向不准确的标签“对齐”，误差会被放大进模型参数里。二值化的 $R_{IoU}$ 只要求预测“大致落在正确范围”（IoU>0.5即满分），把边界的精细调整交给权重更小的连续型 $R_{Boundary}$ 去负责，这样奖励的主干部分对标注噪声不敏感，而细粒度的边界优化由辅助项渐进式地完成，这正是 GRPO 式强化学习相较 SFT 更能容忍粗标数据的关键设计。

三阶段课程强化训练

训练直接从预训练的 Qwen2.5-VL 出发，不做冷启动，用 GRPO 在三个递进阶段中组合上述奖励。第一阶段只用精标数据，奖励综合考虑位置、边界与类别：

$$R_{Total}=R_{IoU}+\alpha_1\cdot R_{Boundary}+R_{Category}$$

第二阶段引入大规模粗标数据，由于类别标注在粗标数据中不够可靠，奖励简化为只关注位置与边界：

$$R_{Total}=R_{IoU}+\alpha_2\cdot R_{Boundary}$$

第三阶段在精标与粗标混合的全量数据上做微调，重新引入类别一致性奖励并用权重 $\alpha_3,\alpha_4,\alpha_5$ 平衡三项：

$$R_{Total}=\alpha_3\cdot R_{IoU}+\alpha_4\cdot R_{Boundary}+\alpha_5\cdot R_{Category}$$

这种「先精后粗再混合」的课程设计让模型既能从精标数据里学到准确的边界感知，又能靠海量粗标数据扩大类别与场景覆盖，消融实验显示去掉课程学习会让时序定位 mIoU 显著下降。

小结

RAVEN 的关键不在网络结构本身（仍是 Qwen2.5-VL），而在于用「二值化IoU主奖励+连续边界辅助奖励+类别正则奖励」的分层设计和「精标→粗标→混合」的课程式 GRPO 训练，让强化学习既能吸收大规模噪声工业标注、又能保留模型的推理与泛化能力。

实验在工业数据集（约38000训练视频、5000精标测试视频）和公开 MultiHateClip（Bilibili子集）上做离线评测，并做20%流量在线A/B测试，另有域外泛化与消融研究。结论：RAVEN 在类别准确率和 mIoU 上全面超过 SFT 版本，域外泛化优势更明显。

关键数据

RAVEN 是把 DeepSeek-R1 式「无需推理标注、纯 RL 涌现思维链」的范式从数学/代码推理迁移到视频时序定位这一细粒度感知任务上的代表性工作之一，展示了 GRPO 类强化学习在处理大规模噪声标注、工业级视频理解任务中的实用价值，并给出了一条从课程学习到在线部署的完整工程路径，为后续「奖励驱动的视频时序定位」研究提供了可复用的奖励函数设计范式。

局限与不足

论文的核心工业数据集（38000训练视频、5000测试视频）及具体的类别体系、标注细节均未公开，实验结果的可复现性和可比较性受限；奖励函数中IoU二值化阈值（0.5）、多个阶段的权重系数 $\alpha_1$–$\alpha_5$ 均需人工设定和调参，论文未给出系统性的敏感性分析；公开数据集验证仅使用了 MultiHateClip 的 Bilibili 可下载子集，且时序区间是作者自行补充标注，样本规模和场景多样性都比较有限；此外方法依赖 Qwen2.5-VL 已具备的基础视频理解与指令跟随能力，对更弱基座模型或更长视频（工业广告视频通常较短）上的可迁移性尚未验证。