Keep It Simple: Multi-Key Episodic Memory Retrieval for Ultra-Long Video Understanding大道至简：面向超长视频理解的多键情景记忆检索

面向数小时甚至数天的超长视频问答，此前工作（EgoRAG、WorldMM）在记忆构建阶段就投入大量算力，预先构建层级摘要或多尺度知识图，试图在不知道下游问题时把「高层语义关系」建好。本文反其道而行：记忆构建只做最简单的事——切成 30 秒短片、逐片生成密集字幕并提取四种互补文本「键」，追求高召回的可检索性；语义关系推理被推迟到推理时，由拿到问题的求解器在检索证据上现场完成。这种「简单存储 + 按需扩展」的设计在三个长视频基准上都超过更复杂的层级/图记忆方法，同时大幅降低记忆构建开销。

超长视频无法直接喂入 MLLM 的有限上下文窗口，因而催生了「先构建外部记忆、再检索增强推理」的两阶段范式。此前 EgoRAG 通过递归合并 30 秒片段为小时级、天级摘要构建层级记忆；WorldMM 构建跨多时间粒度的知识图谱，涉及字幕生成、三元组抽取、图谱合并等多轮 LLM 调用。这些方法假设粗粒度摘要能覆盖后续查询所需语义，但摘要会丢失细节，且构建时不知道下游问题，预建结构可能与真正被问到的内容不匹配，成本也随视频变长急剧增长。

关键贡献

• 提出「记忆构建从简、语义组合推迟到推理时」的核心设计原则，指出预先构建复杂层级/图记忆是一种查询无关的低效投入。
• 设计情景多键（Multi-key）记忆表示，为每个 30 秒片段提取事件、对话、物体、摘要四类互补检索键，用最大相似度匹配提升检索召回率。
• 提出邻居过滤（Neighbor Filtering）机制，在推理时按需围绕检索到的锚点片段做对称时间窗扩展，并用求解器做查询感知的证据蒸馏，无需预先构建多粒度层级结构。
• 在 EgoLifeQA、LVBench、Video-MME(Long) 三个长视频基准上取得新的 SOTA，同时相较 WorldMM 大幅降低记忆构建阶段的 LLM 调用次数与 token 消耗。
• 通过消融实验证明命中率（Hit Rate）与最终问答准确率高度相关，验证了「精确检索是超长视频问答的关键瓶颈」这一核心假设。

总体思路

MERIT 把超长视频问答拆成两个阶段。第一阶段（记忆构建）只做最简单的事：将视频切成非重叠的 30 秒片段，对每段生成密集字幕，并额外抽取四类互补的文本「键」，构成一个极简的键值存储式记忆。第二阶段（推理时检索与回答）由求解器发起多轮迭代：生成检索查询、用最大相似度匹配从多键记忆里召回相关片段、判断证据是否充分，不充分则通过「邻居过滤」在检索到的锚点片段周围做时间窗扩展并蒸馏出与问题相关的信息，直至证据足够，最终整合所有证据推理出答案。整个设计的核心是把「语义关系组合」这件真正依赖问题的事情，完全推迟到已知问题的推理阶段去做。

问题形式化

给定视频 $V$，记忆构建过程 $F(\cdot)$ 在不知道下游查询 $Q$ 的情况下产出外部记忆 $M$；推理时问答求解器 $G(\cdot)$ 结合 $Q$ 与 $M$ 给出答案 $A$：

$$M = F(V), \qquad A = G(Q, M)$$

这组公式明确了「记忆构建」与「推理」之间的信息隔断：构建阶段的所有设计选择都必须是查询无关的，这正是本文批评以往工作把过多算力花在这一阶段的出发点。

情景多键记忆

视频被切成片段序列 $V=\{v_1,\dots,v_T\}$，每段生成密集字幕 $d_i$ 并抽取一组文本键 $K_i$，记忆整体为 $M=\{(v_i,d_i,K_i)\}_{i=1}^T$。每个片段的键进一步拆成四个互补类别：

$$K_i = \{k_i^{evt}, k_i^{dial}, k_i^{obj}, k_i^{sum}\}$$

分别对应事件/动作（可观察的物理动作与实体间交互）、对话/提及（音轨中的具体话语与指令）、物体（被操作/移动的物品及其状态变化）、摘要（该片段的粗粒度整体叙事）。用多个互补视角代替单一索引，是因为同一片段可能因动作、语言、物体、场景等完全不同的线索被问到，单一文本索引很容易漏检。

最大相似度检索

在第 $j$ 轮检索中，求解器生成查询 $q^{(j)}$，用句向量模型 $E(\cdot)$ 分别编码查询与每个片段的四个键，取该片段与查询相似度最高的那个键作为片段相关性分数：

$$S_i^{(j)} = \max_{k\in K_i} \mathrm{sim}\big(E(q^{(j)}), E(k)\big)$$

再对所有片段的分数取 Top-N 得到本轮检索结果 $R^{(j)}=\mathrm{TopN}(\{S_i^{(j)}\}_{i=1}^T)$。为什么用「最大值」而非平均或拼接：不同键代表不同语义维度，一个片段只要在任意一个维度上与查询高度匹配就应该被召回；取平均会被其余不相关维度的低分「稀释」，从而降低召回率——这正是多键设计要优先保证「高召回」这一目标的直接体现。

邻居过滤与时间扩展

视频具有很强的时间局部性：回答问题所需的证据往往分布在锚点片段周围，而不只在被检索到的那一个 30 秒片段内。为此，MERIT 不在构建阶段预先建多粒度层级，而是在推理时对每个被检索到的片段 $i\in R^{(j)}$ 现场展开一个对称时间窗：

$$W_i = \{t \in \{1,\dots,T\} \mid i-\Delta \le t \le i+\Delta\}$$

窗口内所有片段的密集字幕被拼接为扩展上下文 $D^{(j)}=\mathrm{Concat}(\{d_t \mid t\in W_i, i\in R^{(j)}\})$，再由求解器本身充当「查询感知过滤器」$I^{(j)}=G_{filter}(Q, D^{(j)})$，只蒸馏出与问题相关的信息追加进证据集，供后续推理使用。这一机制本质上是「按需现搭的最简单时间图」：不为所有片段预先建关系，只在真正被检索命中之后才临时展开局部上下文，兼顾了语义深度与构建成本。

小结

MERIT 的关键不在于用了多复杂的记忆结构，而在于把「记忆构建要简单、语义关系推理要推迟到问题已知时」这个原则贯彻到底：多键提升检索召回，邻居过滤按需补足局部上下文，二者共同证明了精确检索本身才是超长视频问答的真正瓶颈。

实验涵盖 EgoLifeQA（日均44.3小时）、LVBench（约1.12小时）、Video-MME(Long)（30-60分钟），以多选问答准确率为主指标，另引入 Hit Rate 衡量检索是否命中目标时间戳。MERIT 三种求解器均超越 EgoRAG、WorldMM 等基线，命中率与准确率正相关。

关键数据

MERIT 延续了 Video RAG（EgoRAG、WorldMM 等）在超长视频问答上的记忆-检索范式，但用反直觉却有效的简化设计——弃用层级/图结构、把语义推理交给推理时的强 MLLM——重划了「构建」与「推理」间的算力边界，为后续 agentic 视频记忆系统提供了效率-精度权衡范例。

局限与不足

MERIT 的记忆构建仍以固定 30 秒为粒度切分视频并逐段生成密集字幕，粒度本身是预先设定的超参数，未必适配所有类型的事件时长；对话键依赖 ASR 转录，在 LVBench 这类缺乏对话信息的视频上直接被舍弃，说明该键类型的适用范围受限于视频模态本身。消融实验（Table 7）显示检索片段数量 Top-N 的最优取值高度依赖求解器能力：开源的 Qwen3-VL 系列在 Top-10 时性能反而下降，说明该框架的收益很大程度上依赖强大的闭源求解器（GPT-5、Gemini 2.5 Pro）来消化扩展后的上下文噪声，弱模型难以充分发挥多键与邻居过滤的潜力。此外，Oracle 实验（Table 3）表明即便给出完全正确的目标时间片段，加上邻居过滤后的准确率也只能到 65.8%~83.2%，说明检索之外，求解器自身的时序关系推理能力仍是尚未突破的上限。