The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision)大型多模态模型的黎明：GPT-4V(ision) 初步探索

本文是微软研究院对（早期版本）GPT-4V(ision)的一次系统性定性探索：给定任意混合的图像、文本、场景文字与视觉指代标记，模型即可生成对应的文本回复。由于现有视觉-语言基准的标注粒度与训练-测试假设已不再适配GPT-4V，作者放弃传统的定量刷榜，转而围绕『支持哪些输入与工作模式』『各领域能力的质量与泛化性』『如何有效提示』『未来方向是什么』四个问题，精心设计跨越开放域描述、知识常识、文档图表、时序与抽象推理等数十个任务域的探索性样例，并总结出『视觉指代提示』这一利用像素级标记直接下达指令的新型交互方式。

此前的视觉-语言模型多通过微调视觉编码器对齐冻结的语言模型，或先把图像转成文字描述再交给LLM处理，受限的模型与数据规模使得许多有趣能力难以涌现。GPT-4V建立在最先进的LLM之上并用大规模多模态数据训练，但业界对其真实能力边界缺乏系统认知，且现有基准的标注粒度与训练-测试假设也可能已不适用于这类模型，亟需一次系统性的定性探索来先行摸底。

关键贡献

• 系统梳理了GPT-4V支持的三种输入形式：纯文本、单张图文对与任意交错的多图文混合输入。
• 提出并系统探索了『视觉指代提示』——通过在图像像素上绘制箭头、圈选或手写场景文字来直接下达指令的新提示范式。
• 覆盖开放域描述、知识常识、文档图表、多语言、编码、时序推理、抽象推理与情感理解等数十个领域给出大量定性样例。
• 验证了指令跟随、思维链提示与上下文少样本学习等LLM测试期技术在多模态场景下依然有效且可组合使用。
• 指出现有视觉-语言基准的标注粒度和训练-测试假设已难以公平评测GPT-4V，主张转向定性优先的评估范式。
• 为多模态插件、多模态链、自我反思与检索增强等下一代LMM系统方向提供了初步的探索性讨论。

总体思路

本文不提出新模型，而是把GPT-4V当作一个待探索的黑箱系统：给定文本、单张图文对或任意交错的多图文混合作为输入，模型自回归地生成文本输出。作者围绕『支持什么输入』『各领域能力如何』『怎么有效提示』『未来往哪走』四条主线，设计大量原创或训练期不可见的图文样例，并系统总结出可复用的提示技术（指令跟随、思维链、上下文少样本、视觉指代提示），用定性观察而非量化刷分的方式勾勒出这一代大型多模态模型的能力边界与交互范式。

三种输入模式下的统一生成视角

论文归纳出GPT-4V支持的三类输入：纯文本（退化为普通语言模型）、单张图文对（经典视觉问答/看图说话场景）、以及任意交错的多图文混合（例如网页里穿插的多张收据图片）。三者本质上可以用同一个条件生成过程刻画：模型把所有可用的文本片段与图像一起作为条件，输出一段自然语言回答。

$$\hat{y} = \arg\max_{y} P_\theta\big(y \mid x_{\text{text}}, x_{\text{img}}^{(1)}, \dots, x_{\text{img}}^{(n)}\big)$$

这里 $n$ 可以是 0（纯文本）、1（单图文对）或任意多个（交错输入），统一视角解释了为什么GPT-4V能无缝支持从纯语言任务到多图推理的连续谱系，而不需要为每种输入形式单独设计接口。

视觉指代提示：把指令写进像素空间

GPT-4V的一个突出能力是理解直接画在图片上的视觉标记——箭头、圆圈、手写场景文字等。作者据此提出『视觉指代提示』：不再局限于纯文本或数值坐标去指定关注区域，而是直接编辑图像像素本身来表达任务意图，可以形式化为对原始图像施加一次标记编辑：

$$x_{\text{img}}' = \mathrm{Edit}\big(x_{\text{img}}, \, m\big), \quad m \in \{\text{箭头}, \text{圆圈}, \text{手写场景文字}, \dots\}$$

这种标记编辑可以与文本指令、示例演示自由组合，比如把『在第一列里找规律』这句抽象指令直接圈在示例图上，让任务演示与语言说明彼此印证，模拟了人类『边说边指』的自然教学方式，是本文提出的对未来人机交互接口最具启发性的设计。

提示技术的形式化：指令跟随与思维链

论文验证了两条LLM提示技术在多模态场景下依然生效：一是『约束式提示』，要求模型按指定格式（如JSON）作答；二是『条件于成功』，即在提示里明确要求模型『把这件事做好』而不是模仿训练集里参差不齐的表现。以计数任务为例，从『数一数图里有几个苹果』到『你是计数专家，请逐行数、确保答案正确』，提示的精细程度显著影响最终答案的可靠性。思维链式的『分步思考』可以看作是在答案上多引入一层隐藏的推理路径变量后再做边缘化：

$$P(y \mid x) = \sum_{z} P(y \mid z, x)\, P(z \mid x)$$

其中 $z$ 表示模型生成的中间推理步骤。但论文也观察到：分步提示未必单调改善结果——从简单指令到『先数行数再逐行数再求和』的复杂指令，苹果计数答案反而从12个变成15个（正确答案为11个），说明思维链只有在推理步骤本身贴合视觉证据时才有效，机械堆砌步骤反而放大误差。

上下文少样本学习：用示例替代梯度更新

当零样本或单个示例都不足以完成任务时，论文展示了上下文少样本学习的价值：把若干与查询同格式的图文示例拼接在提示前面，模型无需更新参数即可『照着学』。以车速表读数为例，零样本给出22/30/40 mph等错误猜测，加入1个示例后仍会读错左右两个刻度，直到给出2个示例（一个相似、一个不同）后模型才正确判断指针接近但未到10 mph、给出『约9 mph』的答案。可以记为在示例集合上做条件生成：

$$P_\theta\big(y \mid x, \mathcal{D}_k\big) = P_\theta\big(y \mid x, (x_1,y_1), \dots, (x_k,y_k)\big)$$

论文特别强调，为避免上下文示例带来的信息泄漏或提示线索，报告正文默认仍采用零样本作为展示的主模式，只在少数需要突出能力边界的案例中才展示少样本对比。

为什么选择定性报告而非刷榜跑分

作者明确论证了放弃传统量化基准的理由：一是GPT-4V生成的描述远比现有图像描述基准的参考答案更丰富详细，用旧指标打分会系统性低估其能力；二是模型大规模预训练数据的构成不公开，可能已经违反了某些基准原有的训练-测试划分假设，使那些分数失去意义。与其在不再适配的基准上刷一个可能失真的数字，作者选择组织大量样例、辅以追问推理过程的『合理性验证』问题来排除记忆和蒙对，用可复核的定性证据代替可能虚高或虚低的单一分数——这是一次对『评测应该测什么』的方法论反思，而不只是偷懒不做实验。

面向未来系统的设想：自洽性与工具增强

报告的最后一部分展望了GPT-4V之后的系统形态：多模态插件（调用外部工具处理专业任务）、多模态链（把多个子任务串联成流水线）、自我反思、自洽性以及检索增强的LMM。其中自洽性的思路是对同一输入多次采样后取多数一致的答案：

$$\hat{y} = \operatorname*{mode}_{k=1,\dots,K}\big\{y^{(k)}\big\}, \quad y^{(k)} \sim P_\theta(y \mid x)$$

这类设想尚未在本文中给出实验验证，更多是作者基于对GPT-4V能力边界的观察为后续研究者指出的可探索方向，与LLM文献里已经验证过的自洽性、检索增强思路一脉相承。

小结

这篇报告真正的贡献不是一个新模型或新指标，而是用大规模、可复核的定性探索为GPT-4V画出了一张能力地图，并沉淀出『视觉指代提示』这一后续研究可以直接复用的交互范式。

作者未采用量化基准，而是围绕四个引导性问题精选原创、训练时不可见的图文样例，覆盖数十个能力域并辅以追问推理过程以排除记忆或猜测；默认工作模式为零样本指令跟随，最终发现GPT-4V在多数场景下展现出接近人类水平的多模态理解能力，但在计数、精细读数、多跳图表推理等任务上仍系统性出错。

关键数据

作为GPT-4V发布后首篇系统性的定性能力报告，本文确立了『用大规模精选定性样例代替传统基准刷分』的评测范式，其归纳的输入模式、提示技术分类与视觉指代提示概念，直接影响了后续多模态大模型报告展示能力的方式。

局限与不足

报告本身承认其结论建立在小规模精选样例之上，缺乏可复现的量化基准，样例结果可能依赖精心设计的提示词，未必能在同类任务的多数输入上稳定复现；对象计数、精确读数、复杂图表的多跳推理等任务上模型仍会出现系统性错误，且论文没有给出错误率或置信区间等统计量；作者也未公开模型的训练数据与架构细节，使得很多观察到的能力难以追溯成因或与其他模型公平对比；此外少样本与视觉指代提示的效果在多大程度上依赖具体图像和提示措辞，论文也留作未解决的未来工作。