HeadHunt-VAD：在多模态大模型中猎取鲁棒的异常敏感注意力头，实现免调优视频异常检测 · HeadHunt-VAD: Hunting Robust Anomaly-Sensitive Heads in MLLM for Tuning-Free Video Anomaly Detection

原文摘要 · English Abstract

Video Anomaly Detection (VAD) aims to locate events that deviate from normal patterns in videos. Traditional approaches often rely on extensive labeled data and incur high computational costs. Recent tuning-free methods based on Multimodal Large Language Models (MLLMs) offer a promising alternative by leveraging their rich world knowledge. However, these methods typically rely on textual outputs, which introduces information loss, exhibits normalcy bias, and suffers from prompt sensitivity, making them insufficient for capturing subtle anomalous cues. To address these constraints, we propose HeadHunt-VAD, a novel tuning-free VAD paradigm that bypasses textual generation by directly hunting robust anomaly-sensitive internal attention heads within the frozen MLLM. Central to our method is a Robust Head Identification module that systematically evaluates all attention heads using a multi-criteria analysis of saliency and stability, identifying a sparse subset of heads that are consistently discriminative across diverse prompts. Features from these expert heads are then fed into a lightweight anomaly scorer and a temporal locator, enabling efficient and accurate anomaly detection with interpretable outputs. Extensive experiments show that HeadHunt-VAD achieves state-of-the-art performance among tuning-free methods on two major VAD benchmarks while maintaining high efficiency, validating head-level probing in MLLMs as a powerful and practical solution for real-world anomaly detection.

概要

基于 MLLM 的免调优视频异常检测方法依赖文本输出，存在信息损失、常态偏见与提示敏感三大缺陷，难以捕捉细微异常线索。HeadHunt-VAD 绕开文本生成，直接在冻结 MLLM 内部“猎取”一组对异常敏感且跨提示稳定的注意力头：Robust Head Identification 模块从统计、几何、信息论多角度评估每个头的区分度，再用风险规避准则筛选出高均值、低方差的专家头集合。专家头特征仅需 1% 训练数据即可校准出轻量逻辑回归评分器与时序定位器，无需微调 MLLM，在两个基准上取得免调优方法中的最优结果。

视频异常检测长期依赖监督、弱监督或无监督范式，均需大规模标注或大量正常视频，训练成本高、难扩展。MLLM 兴起后，LAVAD、VERA 等免调优方法让模型生成文字描述再推理，但视觉信息压缩为文本会丢失细节，模型倾向描述常见物体而忽略异常（常态偏见），且输出对提示措辞敏感。已有研究发现 LLM 中间层表征比最终输出更丰富，但分析停留在层级粒度；多头注意力输出被拼接聚合，专家头的判别信号被无关头稀释，因此本文转向头级而非层级的表征分析。

关键贡献

首次提出直接在冻结 MLLM 内部主动猎取稀疏专家注意力头的免调优视频异常检测范式，避免文本输出带来的信息损失与表征稀释问题。
提出 Robust Head Identification 模块，通过统计、几何、信息论多准则联合评估注意力头的显著性与跨提示稳定性。
设计基于风险规避思想的 Robust Saliency Score，用均值与方差的权衡挑选出跨多种提示都保持高判别力的专家头集合。
构建轻量级逻辑回归异常评分器与数据驱动校准的高斯平滑时序定位器，仅需 1% 训练数据即可完成全部校准。
在 UCF-Crime 和 XD-Violence 两个基准上取得免调优方法中的最新最优性能，同时特征维度从超过10万降至640，推理效率大幅提升。

方法详解（完整做法）

总体思路

HeadHunt-VAD 分两阶段：离线阶段先对冻结 MLLM 的全部注意力头做「显著性 + 稳定性」双重评估，选出一小组跨提示都稳定有效的专家头，并用它们的特征训练一个轻量逻辑回归异常评分器和一个高斯平滑时序定位器；在线阶段对新视频只做一次前向传播，直接截取专家头的输出特征（不做自回归解码），依次送入评分器打分、定位器平滑与阈值化，得到逐帧异常概率与异常片段，最后可选择把检测出的异常片段再喂回 MLLM 生成文字说明。

多头注意力聚合与表征稀释问题

标准多头注意力（MHA）把输入 $X\in\mathbb{R}^{L\times D}$ 投影到 $N_h$ 个头，每个头 $h_j\in\mathbb{R}^{L\times d_h}$ 独立计算注意力，再拼接后过一个线性层聚合成最终输出：

$X' = \mathrm{Concat}(h_1,\dots,h_{N_h})\,W^O$

这一步对所有头做拼接式融合，会把少数异常敏感专家头的尖锐判别信号和大量关注背景、语法等无关信息的头混在一起，导致专家头的信号被稀释——作者称之为 representation dilution，这正是论文绕开聚合输出、直接探测各个头 $h_k$ 的核心动机。

头显著性刻画：统计-几何-信息论三视角

为避免单一指标偏差，论文从三个视角刻画每个头 $k$ 对正常/异常样本的区分度：线性判别分析分数 $S_{LDA}$ 衡量线性可分性，对称 KL 散度把正常/异常特征建模为高斯分布衡量非线性统计差异，最大均值差异在核空间衡量分布形状差异，归一化互信息衡量特征与标签的统计依赖。以 LDA 为例：

$S_{LDA}(k) = (\mu_{k,a}-\mu_{k,n})^{T}(S_{W,k})^{-1}(\mu_{k,a}-\mu_{k,n})$

四个指标各自归一化到 [0,1] 后取平均，构成某个提示下头 k 的综合显著性分数 $S(k,p_m)$ ，兼顾统计可分性、分布形状差异与标签依赖性，避免任何单一准则的偏差主导头的排序。

鲁棒头选择：风险规避式的 Robust Saliency Score

仅看单个提示下的显著性还不够：同一个头换个问法可能判别力骤降。论文在 M 个不同提示下重复计算显著性，得到均值 $\mu_k$ 与标准差 $\sigma_k$ ，再用风险规避准则综合两者：

$RSS(k) = \mu_k - \lambda\sigma_k$

这与金融里「收益-风险权衡」的思路一致： $\lambda$ 越大，越惩罚那些在某些提示下表现忽高忽低的头，只留下无论怎么问都稳定管用的专家头——这正是论文解决 MLLM 提示敏感性问题的关键设计，而不是简单取平均显著性最高的头，按 RSS 排序取 top-K 即得到跨提示一致的专家头集合 $I^{*}$ 。

轻量异常评分器（逻辑回归）

把 K 个专家头在首个生成 token 处的特征拼接成 $z_i\in\mathbb{R}^{K\cdot d_h}$ ，训练一个逻辑回归器预测视频级异常概率，用二元交叉熵优化：

$p_i^{(v)} = \sigma(w^{T}z_i+b),\qquad \mathcal{L} = -\frac{1}{N}\sum_{i=1}^{N}\Big[y_i^{(v)}\log p_i^{(v)} + (1-y_i^{(v)})\log(1-p_i^{(v)})\Big]$

逻辑回归参数量小、可解释，且只用 1% 的训练视频就能拟合，是整套流程「免调优」的关键——被调的从来不是 MLLM 本身，而是这个几百维输入上的线性分类器，在线阶段直接复用同一权重对逐段特征打分。

时序定位器：高斯平滑与数据驱动阈值

逐段异常概率序列 $p_t$ 常存在孤立噪声尖峰，论文先用一维高斯核 $G_{\sigma_g}$ 卷积平滑：

$p'_t = (p*G_{\sigma_g})_t = \sum_j p_j\cdot G(t-j;\sigma_g)$

再用网格搜索在验证集上联合优化平滑核宽 $\sigma_g$ 和二值化阈值 $\tau$ （以帧级 F1 为目标），最终判定 $\hat y_t=[p'_t>\tau^{*}]$ 。消融显示去掉平滑会让 UCF-Crime AUC 掉 4.59 个百分点，说明「先平滑再阈值化」比直接卡固定阈值稳健得多，也是把逐帧噪声概率变成连贯事件片段不可或缺的一步。

小结

HeadHunt-VAD 的关键不是又造了一个更强的 MLLM，而是发现「多头注意力聚合会稀释异常信号」这一结构性缺陷，并用统计-几何-信息论三视角加风险规避式跨提示稳定性筛选，把探测粒度从层级下沉到头级，再靠两个轻量下游模块把稀疏专家头特征变成可用的检测结果。

实验与关键数据

在 UCF-Crime（帧级 AUC）和 XD-Violence（帧级 AP）两个长视频异常检测基准上评估，backbone 为冻结的 InternVL3，标定仅用 1% 训练数据、K=5 个专家头、5 种提示、单张 RTX 4090。HeadHunt-VAD 在免调优方法中取得最优效果，且推理时间与特征维度大幅降低。

关键数据

UCF-Crime 帧级AUC

87.03%

vs VERA 86.55%（+0.48）

XD-Violence 帧级AP

82.63%

vs HiProbeVAD 82.15%（+0.48）

专家头特征维度（Top-K头拼接）

640

vs 全部注意力头拼接 100352（-99712）

消融：去除高斯平滑后UCF-Crime AUC

82.44%

vs 完整模型 87.03%（-4.59）

离线校准所需训练数据占比

影响与局限

HeadHunt-VAD 把 MLLM 可解释性研究中的“头级探测”思路首次落地到视频异常检测任务，证明无需微调、仅靠内部注意力头筛选也能逼近甚至反超部分弱监督方法，为免调优 MLLM 应用提供了一条绕开文本瓶颈、直接利用中间表征的新路径，后续工作可沿用其多准则头筛选与风险规避打分方式迁移到其他细粒度视觉理解任务。

局限与不足

论文依赖固定骨干 InternVL3 与固定分段/采帧策略（48帧一段、均匀采16帧），专家头集合和风险规避系数 λ、平滑核宽 σg、阈值 τ 都是在特定校准集上网格搜索得到的超参数，换成不同 MLLM 骨干、不同视频分布或不同异常类型时是否仍能稳定复现同一组专家头未做充分验证；此外方法只用首个生成 token 处的头特征作为代表，可能丢失序列后续位置携带的信息，且离线阶段仍需要少量标注（约1%训练数据）用于头筛选和评分器训练，并非完全无监督，其鲁棒性也主要在两个基准数据集上验证，跨数据集泛化性尚待更多检验。