引言：多模态之争，从"能不能"到"怎么多"

过去五年，大模型行业最确定的方向不是参数规模，而是模态边界。2022 年我们还惊叹于"看图说话"的模型，到 2026 年，主流旗舰几乎全部原生支持图像、视频与音频输入，多模态能力从加分项变成了入场券。竞争焦点已从"模型能不能看懂图片"转向"用什么样的架构看懂"。理解这条演进线，需要回到它的起点——CLIP。

一、CLIP 与对比学习：多模态的奠基时刻

2021 年发布的 CLIP（公开资料整理）第一次大规模证明了"跨模态表征可以统一"。它用约 4 亿图文对做对比学习：拉近匹配的图文对在向量空间中的距离，推开不匹配的对，最终让图像与文本共享同一个语义空间。这个设计的巧妙之处在于，它不需要人工标注，互联网上海量的图文数据就是天然监督信号；而对比学习的目标函数让模型学会了"语义匹配"而非"逐像素重建"。

CLIP 的历史地位怎么评价都不过分。它让零样本图像分类从不可能变成可能，也确立了此后几乎所有多模态工作的坐标原点：任何两个模态，只要能在同一个向量空间里对齐，就能互相理解。它还把"图文相关性"变成了一个可计算的量，为检索、排序、数据清洗提供了度量工具。但它也有清晰的天花板：第一，CLIP 只做表征对齐，不生成内容，它知道"猫的图片"和"猫"这个词相近，却画不出一只猫；第二，对齐的语义粒度粗糙，容易把"语义相近"与"细节理解"混为一谈——它能分清"猫"和"狗"，却未必分得清"橘猫"和"狸花猫"；第三，对比学习对数据质量极其敏感，噪声数据会直接污染对齐质量，导致"伪相关"泛滥。

我的判断是：CLIP 的真正遗产不是模型本身，而是"对比学习"这一范式。它用最朴素的拉近-推开逻辑，证明了一个关键命题——不同模态的信息可以被映射到同一套几何空间里。这个命题，正是后来一切多模态架构的共同前提。后来的所有工作，本质上都是在回答同一个问题：对齐之后，下一步怎么办？

二、从对齐到生成：图文、语音与视频的接力

CLIP 之后的多模态发展，大体沿着两条支线展开：一条是"LLM 为中心"的对齐派，另一条是逐步走向统一的原生派。

对齐派路线的代表作包括 Flamingo、BLIP-2、LLaVA 等一系列模型（公开资料整理）。它们的共同思路是：冻结或半冻结一个大语言模型，训练一个视觉编码器和投影层，把图像"翻译"成 LLM 能读懂的 token 序列。Flamingo 在冻结的视觉编码器与语言模型之间插入可训练的门控交叉注意力层，开创了"轻量适配"的思路；BLIP-2 引入可学习的查询 token 桥接视觉与语言，把视觉特征压缩成少量语义查询；LLaVA 则用简单的线性投影配合指令微调就取得了惊艳效果，证明"数据与训练策略"有时比"复杂结构"更重要。这条路线工程上见效极快，因为它复用了一切文本 LLM 的成熟能力——指令遵循、知识问答、代码生成，多模态只是"外挂"。

语音与视频的扩展遵循同样的逻辑：语音经 Whisper 类编码器转为 token，视频被抽帧并时空编码后进入自回归框架。到 2024 年前后，"视觉/音频编码器 + 投影层 + LLM"几乎是多模态模型的标准配方。文本之外，模型开始能"听"、"看"，但本质上仍是在用文本的语法理解非文本的世界。

对齐派有结构性的天花板：所有模态都要先"翻译"成文本世界里的 token，翻译损耗不可避免。模型对图像的理解深度取决于投影层的信息保留能力，跨模态推理（比如"听一段环境音，判断画面里发生了什么"）更是力不从心。更隐蔽的问题是"模态偏科"——文本训练占绝对主导，视觉与音频长期处于"二等公民"地位，模型对文本的敏感度远高于对像素的敏感度。对齐派本质上是"主仆架构"：LLM 是主子，视觉和音频是翻译官，翻译官说得再好，也带不进主子没学过的信息。这就是为什么行业开始转向原生多模态。

三、原生多模态：统一 token 空间的架构革命

原生多模态（natively multimodal）的核心理念是：不再把模态分成"主人"与"外设"，而是把图像 patch、视频帧、音频波形与文本一样，统一 token 化，送入同一个 Transformer 做联合预训练。图像不再需要"翻译"成文本，它本身就是模型世界模型的一部分。

这一路线的技术要点有三。其一，统一 tokenizer：不同模态被切成粒度合适的离散 token——文本按词元切分，图像按 patch 量化，音频按帧编码，全部汇入同一套词表空间；其二，联合预训练目标：跨模态的 next-token prediction，让模型学会"看到画面预测下一段文字"或"听到声音预测画面"，模态间的对齐在训练过程中自然涌现，而非靠外部投影强行拼接；其三，模态间信息互操作发生在模型内部——同一套注意力机制同时处理像素、波形与文字，跨模态的推理链可以在任何模态之间自由穿梭。Gemini 系列从第一代起就采用这一设计，被公认为原生多模态的代表。

原生架构带来的能力跃迁是质变的：模型可以基于图像做链式推理，可以在视频中追踪因果，可以把音频、图像与文本的信息交叉验证——这不再是"看图说话"，而是"看、听、想"的统一。但代价同样真实：模态数据配比失衡会导致训练崩溃，图像 token 的信息密度与文本 token 差异巨大，联合预训练的计算开销远超单模态，对数据工程与算力基础设施都提出了更高要求。原生多模态的本质，是把"世界"当作一种语言来建模：当所有模态都退化为 token 序列，多模态问题就还原成了序列建模问题——这与 LLM 的成功哲学同构，也是我认为它是长期终局的原因。

四、2026 年三大路线对比：Gemini 3.6、GPT-5.6 与 ERNIE 4.5 VL

进入 2026 年，多模态的架构之争已经转化为产品之争。据昆仑镜 AI 中心模型库（2026-08 验证），三家旗舰给出了三种不同的答案。

Gemini 3.6 Flash 走"原生统一 + 长上下文"路线：1.05M token 上下文窗口处于第一梯队，输入输出价格 $1.5/$7.5 每百万 token，能力分 88/90/90/90（中文/推理/代码/质量）。Gemini 的取向很清晰——把多模态感知与超长上下文结合，服务于视频理解、长文档多模态检索这类"大输入"场景，赌的是"输入侧的天花板"。

GPT-5.6 系列走"推理核心 + 产品分层"路线：Sol/Terra/Luna 三档能力分（推理 98/93/88）与价格（$5/$30、$1/$6、$0.1/$0.6）形成完整梯度，多模态作为基础能力内建于每一档。OpenAI 的策略不是做一个"多模态模型"，而是让多模态成为推理模型的默认属性，用价格分层消化多模态带来的推理成本——从 $0.1 的 Luna 到 $30 输出的 Sol，用户按任务价值自选档位。

ERNIE 4.5 VL 走"中文场景深度"路线：VL 后缀即 Vision-Language，中文能力分 95 领先同侪，123K 上下文、$0.42/$1.25 的价格定位亲民，瞄准的是文档理解、图表解析、行业图像识别这类中文企业场景。它不追求全模态通吃，而是把"中文 + 视觉理解"这一垂直面做深做透。

三者的差异本质是生态位分化：Gemini 押注统一世界模型，GPT-5.6 押注"推理即一切"，ERNIE 押注场景纵深。没有谁取代谁——多模态市场足够大，容得下三种哲学，但"原生统一"正在成为共识基线，差异将主要体现在上下文长度、价格带与场景适配度上。值得注意的是，三条路线对"上下文窗口"的重视程度出奇一致：1M 级别的窗口已成为旗舰标配，因为多模态输入的 token 消耗远超纯文本，没有长上下文，视频与长文档理解就无从谈起。

五、多模态推理与 Agent 化：下半场

2026 年多模态的下半场，关键词是"推理"与"行动"。多模态评测的重点已经从识别准确率转向任务完成度：给定一张财报截图能否算出指标，给定一段监控视频能否还原事件因果，给定一份多模态文档能否完成总结与问答。这意味着多模态模型要从"感知器官"进化为"思考器官"——看图不是终点，看图之后的推理才是。这也是为什么旗舰模型的多模态能力总是与推理能力捆绑出现：感知是推理的输入，推理是感知的归宿。

与此同时，多模态与 Agent 正在合流：具备视觉能力的 Agent 可以读屏幕、操作 GUI、理解物理环境，多模态成为智能体感知世界的接口。一个能"看"的 Agent，才能处理截图、表单、地图这类非结构化输入，才能真正接管人类在图形界面上的工作流。图像生成侧（如 Seedream 4.0、可灵 2.1 等）与理解侧模型的协同，正在把"看懂"与"生成"重新缝合，为多模态 Agent 的闭环提供素材与验证手段——生成模型负责模拟世界，理解模型负责解读世界，两者共同构成智能体与环境交互的完整回路。

结论：统一，是减少翻译损耗的漫长旅程

从 CLIP 的表征对齐，到原生多模态的统一 token 空间，这条演进主线可以概括为一句话：不断减少模态之间的翻译损耗。CLIP 证明了跨模态表征可以统一，对齐派把统一延伸到生成，原生派则把统一推进到架构底层。当翻译损耗趋近于零，多模态就不再是"多个单模态的拼装"，而是一个对世界统一建模的系统——这或许是通往更接近人类感知的 AI 的必经之路。

延伸阅读：昆仑镜（aigc.fushtn.com）作为 AI 数字员工办公平台，其 AI 中心提供全球主流模型的能力分与性价比数据，可用于多模态选型的横向对比。