GuideMe: Multi-Domain Task Guidance and Intervention in Streaming VideoGuideMe：面向流式视频的多领域任务指导与介入基准

GuideMe 是首个面向流式视频的多领域基准，用于评测多模态大模型能否胜任「实时程序教练」：不仅理解视频，还要在闭环交互中持续监控执行、检测错误并纠正。论文从四个步骤级标注数据集出发，通过三阶段自动标注流水线构建 2,458 段、223.7 小时、47,775 条流式交互样本，覆盖烹饪、物体操作、日常指导与健身四域，并配套时序-语义二分图匹配、行为分类、LLM-as-a-Judge 三件套评测框架。实验揭示关键能力不对称：现有 MLLM 擅长给指令，却普遍无法识别错误并纠正。

此前流式 MLLM 基准（如 StreamingBench、OVO-Bench）主要评估模型能否及时响应问答，而非主动判断该不该介入并纠错；程序性视频数据集（EgoPER、CaptainCook4D）虽有步骤级标注，却假设动作全部正确，缺乏错误与恢复信号；HoloAssist、QEVD 提供指导反馈，但纠正内容是提前写好的脚本，且局限单一领域。此前无基准能在流式条件下完整评估「指令-观察-纠错」闭环。

关键贡献

• 构建了首个覆盖烹饪、物体操作、日常生活指导与健身四大领域的流式任务指导基准 GuideMe，统一评测指令、确认、错误检测与纠正反馈的完整闭环。
• 提出三阶段自动标注流水线（指令活动抽取→知识生成→对话生成），把异构的离线步骤标注转换为 47,775 条带时间戳的流式交互样本。
• 设计三件套评测框架——时序-语义二分图匹配、行为分类、LLM-as-a-Judge——分别度量序列级对齐、介入时机准确性与回复内容质量。
• 提出 Anchor-Based 采样与 60 秒滑动窗口的流式推理协议，在保持因果性的同时平衡说话/沉默样本比例。
• 通过对多个代表性专有、开源与流式 MLLM 的实验，发现现有模型普遍擅长常规指令但在错误检测与纠正上严重失败的能力鸿沟。

总体思路

GuideMe 把「实时任务教练」这件事，形式化为一个严格因果的在线流式任务：助手按时间顺序观察用户执行视频，并结合到目前为止的全部对话历史，决定在每个时刻是保持沉默还是给出指令、确认完成或纠错。围绕这个任务，论文设计了三段式自动标注流水线，把四个来源数据集的细粒度动作标注转换成 47,775 条流式交互样本；并配套设计三件套评测框架——时序-语义二分图匹配衡量序列级对齐、行为分类衡量介入时机对错、LLM-as-a-Judge 衡量回复内容质量——从而在没有「标准问答时间戳」的开放流式场景下，系统地量化模型作为教练的可靠性。

任务定义：严格因果的流式协助

在每个时间步 $t$，助手只能看到到当前时刻为止、一个固定滑动窗口内的最新视频以及此前累积的全部对话历史，不能访问任何未来信息。基于这部分观测，它必须先判断是否需要发声，若需要则输出三类回复之一：导向下一步动作的指令、确认当前动作已正确完成的反馈，或在检测到执行错误时同时指出错误并给出纠正方法的纠错反馈，用户的后续动作再更新流式上下文，形成单个会话内的闭环交互。

三阶段自动标注流水线

从 EgoPER、CaptainCook4D、HoloAssist、QEVD 四个提供细粒度步骤标注的数据源出发，流水线依次执行：(1) 指令活动抽取——把原始步骤标注合并去重、过滤低信息动作（如 hold、rotate），并按「正确动作/错误动作/纠正动作」分类；(2) 知识生成——用 LLM 从活动序列推断任务名称和关键步骤，通过 $N{=}10$ 次并行采样加二次精炼提升一致性；(3) 对话生成——围绕每个动作的起止时间点生成「起始指令」与「结束反馈」两类自然语言话术，长视频按最多 200 条条目分片、结合全局任务摘要与局部子步骤上下文生成。

时序-语义二分图匹配

把生成序列 $\mathcal{G}=\{(g_i,t_i)\}_{i=1}^N$ 与参考序列 $\mathcal{R}=\{(r_j,\hat t_j)\}_{j=1}^M$ 按参考时间戳中点切分为 $K$ 个只含一个有效事件的区段：

$$B_j=\frac{\hat t_j+\hat t_{j+1}}{2}$$

在每个区段内求解最小权二分匹配，代价矩阵综合文本代价与时间代价，其中文本代价用句向量余弦相似度衡量语义偏差：

$$\mathcal{L}_{\text{text}}(g_i,r_j)=\begin{cases}0,& g_i,r_j\in\text{Silence}\\ 1-|\cos(\mathbf{e}_i,\mathbf{\hat e}_j)|,&\text{otherwise}\end{cases}$$

时间代价用高斯衰减惩罚时间偏移：

$$\mathcal{L}_{\text{dist}}(t_i,\hat t_j)=1-\exp\left(-\sigma|t_i-\hat t_j|^2\right)$$

匹配后用连续语义分数 $S_{i,j}=|\cos(\mathbf{e}_i,\mathbf{\hat e}_j)|$ 加权而非 0/1 计数，计算软精度、软召回及其调和平均 Soft-F1：

$$\text{sPrecision}=\frac{\sum_{(i,j)\in\mathcal{A}}S_{i,j}}{\tilde N_{\text{gen}}},\quad \text{sRecall}=\frac{\sum_{(i,j)\in\mathcal{A}}S_{i,j}}{\tilde M_{\text{ref}}},\quad \text{sF}_1=\frac{2\cdot\text{sPrecision}\cdot\text{sRecall}}{\text{sPrecision}+\text{sRecall}}$$

为什么用软匹配而不是硬时间戳对齐

传统流式指标（如 TimeDiff）假设生成与参考严格一对一对齐，而闭源 API 模型也拿不到 token 概率使 LM-PPL 等指标不可用。更关键的是，这些指标都不评估「该不该说话」这件事本身。GuideMe 用连续余弦相似度代替硬命中判断、用高斯衰减代替阈值判断，是因为教练式回复即使措辞不同也可能语义等价，而错误的沉默/发声决策才是评估的核心矛盾——二分图匹配加软分数的组合，恰好把「说没说对」和「该不该说」解耦开来独立衡量。

LLM-as-a-Judge 内容质量评分

二分图匹配只保证时序语义对齐，不代表回复内容本身可靠。论文在每一对匹配成功的（预测, 参考）上，让 LLM 裁判基于相关性、事实合理性与因果推理，打 0-5 的整数分，线性放大到 0-100 后在所有匹配对上取平均，得到 $\text{Score}_m$，专门衡量「说得好不好」而非「说得准不准」。

行为分类与介入时机（CS/FA/NR/PC）

在每条视频里额外构造「助手锚定实例」（每个真实介入时间点）与「沉默实例」（远离任何介入点至少 5 秒的区间），二者数量平衡。每次预测归入四类互斥结果之一：正确沉默 CS（该沉默时不说话）、虚报 FA（该沉默时却说话）、漏报 NR（该介入时却沉默）、部分正确 PC（该介入时确实说了话，内容质量另用裁判打分）。综合行为 Score 把 CS 记 100 分、FA 和 NR 记 0 分、PC 按裁判质量分线性映射到 0-100，在全部实例上取平均，同时惩罚「该说不说」和「不该说却说」两类时机错误。

小结

GuideMe 的关键不是收集了更多视频，而是把「该不该说话」和「说得好不好」这两件事，用二分图软匹配、行为分类与 LLM 裁判三件套拆开来分别度量，由此第一次系统暴露出现有 MLLM「会讲解程序、却不会纠错」的能力鸿沟。

在 GuideMe-Test（473 段、46.7 小时、9,876 条样本）上零样本评测 4 个专有模型、4 个开源通用 MLLM、4 个开源流式 MLLM，并微调 Qwen3-VL-8B。结论：所有模型在介入时机或回复质量上明显失衡，错误检测与纠正是最薄弱环节。

关键数据

GuideMe 把「离线视频理解」和「实时闭环教练」两个能力明确区分开来，填补了此前流式基准只评估回复时机、不评估纠错能力的空白，为后续训练可靠的交互式 AI 助手提供了统一的数据与评测协议，其三件套评测框架（尤其是软二分图匹配与行为分类）也可能被后续流式 MLLM 研究直接复用。

局限与不足

评测默认在每一步都提供真实（GT）对话历史以隔离误差累积，这与真实部署中模型只能依赖自身历史预测的场景有差距——论文自身的消融也显示，去掉 GT 历史后各模型 sF1 与 Score 大幅下滑、漏报率飙升，说明当前报告的分数很可能高估了模型在完全自主部署下的真实表现。此外，标注流程高度依赖 LLM 生成知识与对话（仅用一致性投票做二次校验），纠正指令的正确性依赖任务图或人工标注的质量，四个数据源在动作粒度和场景风格上的差异也可能给跨领域泛化结论带来偏差。同时 LLM-as-a-Judge 打分本身存在裁判模型偏好带来的系统性误差，尚未与人工评分做大规模一致性校验。