注意力稀疏度对输入是稳定的：基于离线稀疏度画像与在线QK协同聚类的免训练视频生成稀疏注意力 · Attention Sparsity is Input-Stable: Training-Free Sparse Attention for Video Generation via Offline Sparsity Profiling and Online QK Co-Clustering

原文摘要 · English Abstract

Diffusion Transformers (DiTs) achieve strong video generation quality but suffer from high inference cost due to dense 3D attention, leading to the development of sparse attention technologies to improve efficiency However, existing training-free sparse attention methods in video generation still face two unresolved limitations: ignoring layer heterogeneity in attention pruning and ignoring query-key coupling in block partitioning, which hinder a better quality-speedup trade-off. In this work, we uncover a critical insight that attention sparsity of each layer is its intrinsic property, with minor effects across different inputs. Motivated by this, we propose SVOO, a training-free Sparse attention framework for fast Video generation via Offline layer-wise sparsity profiling and Online bidirectional co-clustering. Specifically, SVOO adopts a two-stage paradigm: (i) offline layer-wise sensitivity profiling to derive intrinsic per-layer pruning levels, and (ii) online block-wise sparse attention via a bidirectional co-clustering algorithm. Extensive experiments on seven widely used video generation models demonstrate that SVOO achieves a superior quality-speedup trade-off over state-of-the-art methods, delivering up to 1.93× speedup while maintaining a PSNR of up to 29 dB on Wan2.1. Code is available at: https://github.com/Mutual-Luo/SVOO.

概要

视频扩散模型（DiT）的稠密3D自注意力计算开销大，现有免训练稀疏注意力方法要么对所有层用统一稀疏率、要么把Query和Key独立分块，导致质量-加速比权衡不理想。本文发现每层的注意力稀疏度是该层的内在属性、跨不同输入几乎不变，据此提出SVOO：先离线为每层标定稀疏度调度表，再在线用双向协同聚类联合划分Query/Key块，在7个主流视频生成模型上取得更好的画质-加速比权衡，最高提速1.93倍且PSNR保持在29dB左右。

扩散Transformer(DiT)凭借3D稠密自注意力生成高保真视频，但计算量随时空token数平方增长，推理代价高昂。已有免训练稀疏注意力方法（SVG、SVG2、XAttention、Radial等）多采用粗到细流程：先分块，估计块重要性，再只对被选中的块对计算稠密注意力。但这类方法普遍对所有层套用统一稀疏率，且Query与Key各自独立分块、未考虑二者耦合，限制了画质-速度权衡的上限。

关键贡献

通过理论分析证明每层注意力稀疏度是层的内在属性，跨输入方差有界且几乎不变，为逐层稀疏度画像提供依据。
指出已有分块稀疏注意力方法忽视Query与Key块划分之间的耦合关系，导致块划分错位、稀疏模式次优。
提出离线逐层稀疏度画像模块，用少量随机校准输入拟合每层每头的稀疏度调度表。
设计在线双向协同聚类算法，交替做Query感知的Key分块与Key感知的Query分块，得到耦合对齐的块划分。
在7个主流文本/图像转视频DiT模型上验证SVOO在画质-加速比上全面优于SpargeAttn、SVG、SVG2、Radial等方法。

方法详解（完整做法）

总体思路

SVOO面向免训练加速视频扩散Transformer（DiT）的稠密3D自注意力，提出「离线画像 + 在线聚类」两阶段框架。离线阶段只需少量随机采样的校准输入，为每个Transformer层、每个注意力头标定一个内在的稀疏度容忍度，得到一张逐层稀疏度调度表；在线推理阶段则用一种双向协同聚类算法，联合把Query token和Key token划分成互相对齐的块，再依据离线调度表挑出最重要的一小部分块对做稠密计算，其余块直接跳过。整个流程不需要任何额外训练，输出与稠密注意力质量相近的结果，同时显著降低推理延迟。

层间异质性与层内稳定性

论文先做实证观察：对Wan2.1、Wan2.2、HunyuanVideo等模型，逐层测量「覆盖95%注意力质量所需的最少条目占比」（注意力密度），发现不同层之间密度差异很大（层间异质），但同一层在不同输入提示下密度几乎不变（层内稳定）。这意味着稀疏度更像是层的架构属性，而非依赖具体输入内容，为「按层定制稀疏率、且校准集可以任意合理」提供了实证基础。

预softmax logit方差作为稀疏度代理

为了从理论上刻画这一现象，作者关注注意力softmax之前的logit分布。对输入 $X\in\mathbb{R}^{n\times d}$ ，查询token $i$ 的预softmax logit为 $z_i(X)=\frac{(x_iW_Q)(XW_K)^{\top}}{\sqrt{d'}},\qquad a_i=\operatorname{softmax}\big(z_i(X)\big)$ $z_i$ 的方差越大，softmax后的分布越尖锐、即稀疏度越高；因此定义该层全体token的平均行方差作为稀疏度代理： $V(X)\triangleq\frac{1}{n}\sum_{i=1}^{n}\operatorname{Var}\big(z_i(X)\big)$

稀疏度稳定性定理

在「token表示有界（ $\|x\|_2\le R$ ，由LayerNorm/RMSNorm和残差连接保证）」的假设下，作者证明：对任意两个等长的独立输入 $X,\hat X$ ，以至少 $1-\delta$ 的概率有 $\big|V(X)-V(\hat X)\big|\le \frac{d\,\|M\|_2^2}{d'}\,C R^4\left(\sqrt{\frac{\log(d/\delta)}{n}}+\frac{\log(d/\delta)}{n}\right)$ 其中 $M\triangleq W_QW_K^{\top}$ 只依赖该层的参数。这个界说明：差异上界只与层自身参数 $M$ 有关（解释了层间异质），而当视频token数 $n$ 很大时右侧趋于很小（解释了层内对输入的稳定性）——这正是「校准输入可以随便选、只需按层定制稀疏率」的理论依据，也是这篇论文标题「Attention Sparsity is Input-Stable」的来源。

离线逐层稀疏度画像

基于上述结论，SVOO用一个很小的随机校准集 $D=\{x_k\}_{k=1}^m$ 逐层逐头估计稀疏度容忍度。对每个校准样本，取覆盖比例 $\tau=0.95$ 的注意力质量所需的最小条目比例作为该样本的密度估计： $d_{\ell,h}^{(j)}=\frac{1}{n}\sum_{i=1}^{n}\frac{|S_{\ell,h}^{(j)}(i)|}{n}$ 再对 $\{d_{\ell,h}^{(j)}\}_{j=1}^m$ 拟合一元高斯 $\mathcal{N}(\mu_{\ell,h},\sigma_{\ell,h}^2)$ ，取其上 $\alpha=0.95$ 分位数作为保守估计 $\hat d_{\ell,h}=\mu_{\ell,h}+z_\alpha\sigma_{\ell,h}$ ，最终稀疏度调度为 $s_{\ell,h}=1-\hat d_{\ell,h}$ ，用来指导在线阶段每层每头该保留多少注意力块。

在线双向协同聚类

为什么不能像SVG2那样独立对Query和Key做k-means？论文用一个直觉例子说明：固定查询 $q$ ，两个键 $k_1,k_2$ 是否该分到同一块取决于 $q^{\top}(k_1-k_2)\approx 0$ 是否成立——这天然依赖 $q$ 本身，换一个查询最优的键分块方式也会变化，反之亦然。因此SVOO设计了一种双向协同聚类算法：交替执行「Query感知的Key分块」（按各Key相对当前Query质心的亲和度，把Key分到最近的Key质心）与「Key感知的Query分块」（对称地更新Query分块），迭代若干轮后收敛为互相耦合对齐的Query块与Key块。得到块划分后，用质心相似度矩阵粗估注意力强度并选出最重要的块对： $\rho_{\ell,h}=\begin{cases}\min\big(\operatorname{Recall}(\bar A,\tau),\,s_{\ell,h}\big), & s_{\ell,h}>\theta\\ \max\big(\operatorname{Recall}(\bar A,\tau),\,s_{\ell,h}\big), & s_{\ell,h}\le\theta\end{cases}$ 只对选中的块对计算稠密注意力，其余直接跳过；由于聚类结果在扩散步之间高度稳定，实现上每隔若干步才重新聚类一次，进一步压低开销。

小结

SVOO的关键在于把「稀疏度该怎么设」和「块该怎么分」两个此前被独立、粗糙处理的问题，分别用理论证明的层内稳定性（离线定调度）和显式建模的Q-K耦合（在线做协同聚类）解决，两者配合让免训练稀疏注意力在画质几乎不掉的情况下拿到更高的加速比。

实验与关键数据

在Wan2.1、Wan2.2-A14B、HunyuanVideo共7个转视频模型上，H200 GPU以720p对比SVOO与SpargeAttn、SVG(1/2)、Radial基线，用PSNR/SSIM/LPIPS及VBench指标衡量质量、延迟与加速比衡量效率。SVOO几乎全面取得更高加速比与相当或更优画质。

关键数据

Wan2.1-1.3B-T2V PSNR

29.986 dB

vs SVG2 29.268 dB（+0.718）

Wan2.1-1.3B-T2V 加速比

1.93×

vs SVG2 1.73×（+0.20）

HunyuanVideo-13B-T2V 加速比

2.17×

vs SVG1 1.99×（+0.18）

Wan2.1-14B 注意力召回率（协同聚类）

90.98%

vs SVG2(K-means) 88.51%（+2.47）

Wan2.2-14B-I2V PSNR

29.678 dB

vs SVG2 28.384 dB（+1.294）

影响与局限

SVOO把“层间异质性”与“Q-K耦合”这两个此前被忽视的维度形式化并给出可落地方案，为免训练稀疏注意力提供了新的设计范式；其离线画像与双向聚类思路可被其他块稀疏方法（如SVG2、XAttention）借鉴，用于进一步提升视频DiT的画质-速度权衡。

局限与不足

论文的层稳定性理论建立在“token表示有界（Assumption 4.1）”与“层已良好训练”的假设上，对训练不充分、分布严重偏移或极端分辨率场景是否仍成立缺乏直接验证；离线画像依赖随机校准集、固定分位数 $\alpha=0.95$ 与阈值 $\theta=0.1$ 等超参数，其在不同模型架构、不同任务（如更长视频、更高分辨率）下的敏感性未做系统消融；双向协同聚类虽可复用，仍需每隔若干步重新聚类，额外开销随分辨率、序列长度如何变化未充分评估；此外所有实验均在单张NVIDIA H200 GPU上完成，未讨论多卡并行、显存受限设备或与其他并行策略组合时的表现。