ARTICLE / ai
多模态大模型技术栈:从 Vision-Language Model 到原生多模态架构的技术演进
多模态 AI 已从实验室中的"图像描述工具"演变为能够同时理解文本、图像、音频、视频的通用智能系统。2024 年 GPT-4o 的发布标志着一个分水岭——模型不再只是"看图说话",而是从底层架构层面原生支持多种模态的联合训练与推理。到 2026 年,多模态能力已从"差异化优势"变成了"入场门票",没有视觉理解能力的大模型几乎无法进入生产级应用场景。
然而,从 CLIP 到 GPT-4o 的演进路径并非线性升级,而是经历了多次架构范式的跃迁。理解这些范式之间的区别,对于 AI 工程师选择模型、设计系统、评估方案至关重要。本文将从架构演进脉络出发,系统梳理 Vision-Language Model(VLM)的核心组件、训练范式、主流模型对比以及前沿趋势,为技术从业者提供一份完整的多模态技术栈全景图。
1. VLM 架构四大时代
VLM 的架构设计在短短六年内经历了四个截然不同的时代,每个时代都代表了对"如何让语言模型理解视觉信息"这一根本问题的不同回答。
1.1 Era 1:冻结双塔 + 对比学习(2021-2022)
这一时代的代表是 CLIP(Contrastive Language-Image Pre-training),由 OpenAI 于 2021 年发布。核心思想极其简洁:
用一个图像编码器和一个文本编码器,在海量图文对上进行对比学习,让语义相似的图文在嵌入空间中靠近。
核心创新:首次大规模验证了对比学习可以学到强大的跨模态对齐表示。CLIP 的零样本分类能力震惊了学术界——无需任何标注数据就能在 ImageNet 上达到与有监督模型可比的性能。
关键局限:CLIP 本身没有生成能力,它只是一个"对齐器"。后续的 BLIP-2 和 Flamingo 试图通过在 CLIP 之上添加一个可学习的桥接模块(Q-Former)来弥补这一缺陷,但这种冻结双塔 + 外挂桥接的架构存在天然的信息瓶颈。
1.2 Era 2:LLM 为骨干 + 视觉适配器(2023-2024)
Era 2 是目前开源社区最主流的架构范式。核心转变是让一个预训练好的 LLM 成为系统中枢,视觉信息通过一个轻量级投影层注入 LLM 的嵌入空间。
LLaVA(Large Language-and-Vision Assistant)是这一范式的标志性工作:
两阶段训练协议:
- 预训练对齐阶段:冻结 Vision Encoder 和 LLM,仅训练 MLP 投影层,让视觉特征对齐到 LLM 的语义空间
- Visual Instruction Tuning 阶段:解冻 LLM,使用高质量视觉指令数据进行端到端微调
这一范式的核心优势是简单且高效——MLP 投影保留了所有 patch token 的空间信息,且实现成本极低。后续的 LLaVA-1.5 证明,仅用一个两层 MLP 就足以在多个 benchmark 上超越更复杂的 Q-Former 方案。
1.3 Era 3a:原生多模态输入(2024-2025)
Era 3a 的代表是 GPT-4V 和早期版本的 Gemini。与 Era 2 的本质区别在于:
不再把视觉编码器当作一个"外挂",而是从预训练阶段就开始在多模态数据上联合训练整个模型。
Era 3a 的模型在输入端已经实现了原生多模态——图像 patch token 和文本 token 在同一个 Transformer 中被早期融合(early fusion),跨模态的注意力在底层就已经发生。
关键进步:
- 动态分辨率处理:不再将所有图像强制缩放到固定尺寸,而是支持原生分辨率输入,这对文档理解和细粒度识别至关重要
- 多模态上下文窗口:视觉 token 与文本 token 共享同一个上下文窗口,支持图文交错的长序列输入
- 改进的空间推理:通过 2D-RoPE 等位置编码方案,模型能够理解图像的空间结构
1.4 Era 3b:原生多模态输入+输出(2024-至今)
GPT-4o(“o” for Omni)把这一理念推向工程现实:“o” for Omni,意味着文本、音频、视觉进入同一个模型做端到端训练与生成——语音输出不再是"文本+TTS"的拼装,而是模型直接生成音频 token。这一代的意义在于跨模态细粒度对齐与实时交互(打断、附和、低延迟语音对话)成为可能。
生成侧同步融合:Gemini 2.x 把图像生成/编辑纳入统一模型(Nano Banana 是其产品化代号),Chameleon 与 GPT-4o 原生图像生成则验证了"任意模态输入输出"的自回归可行性。
1.5 四个时代的演进逻辑
| 时代 | 代表 | 视觉与语言的关系 | 主要瓶颈 |
|---|---|---|---|
| Era 1 | CLIP | 双塔独立编码,对比对齐 | 无生成、无推理 |
| Era 2 | LLaVA / Qwen-VL | 冻结视觉 + 投影层 + LLM | 信息瓶颈、分辨率损失 |
| Era 3a | GPT-4V / Gemini 1.x | 原生多模态输入 | 输出仍限文本 |
| Era 3b | GPT-4o / Gemini 2.x | 输入输出全模态 | 训练数据与算力门槛高 |
Era 2 至今仍是开源多模态的主流方案——成本低、模块化、视觉编码器可替换;Era 3 是闭源旗舰的护城河。工程师选型的第一步,就是判断场景需要哪个时代的能力。
2. VLM 核心组件拆解
2.1 视觉编码器:从 CLIP 到 SigLIP
Era 2 之后的事实标准是 ViT + SigLIP。SigLIP 用 sigmoid 二值损失替换 CLIP 的 softmax 对比损失,去掉全局归一化后小 batch 也能训、显存效率更高,Google 系视觉塔已全面迁移;Qwen-VL、InternVL、LLaVA 系则各自基于 OpenCLIP、SigLIP 变体继续预训练。
动态分辨率是另一个关键差异:
- 固定分辨率(336/448px):文档、OCR 场景直接损失细节
- Native Resolution / AnyRes(Qwen2-VL、LLaVA-NeXT):按原分辨率切 patch,大图拆多个 tile 拼接 token,OCR 与图表理解能力跃升
- 动态视觉 token 数:按内容生成变长 token 序列,避免小图浪费上下文窗口
2.2 连接模块:MLP 胜出
Q-Former 与 MLP 的路线之争已有结论:LLaVA-1.5 证明两层 MLP 不输甚至优于复杂桥接。代价是高分辨率下视觉 token 暴涨(一张图上千 token),因此出现视觉 token 压缩(空间池化)与 DeepStack(多尺度视觉特征注入不同 LLM 层)等折中方案。
2.3 训练配方
标准三段式:
- 图文对齐预训练:冻结两端、只训投影层,数十亿级弱配对图文
- 多任务继续预训练:混入 OCR、图表、grounding、多图数据,解冻部分训练
- 视觉指令微调(V-IFT):高质量图文指令 SFT + 偏好对齐
2024-2025 年的消融反复证明:数据配方的贡献大于架构差异——同一架构喂不同数据,OCR/图表能力可差一个数量级。
3. 主流模型格局(2025-2026)
| 模型 | 阵营 | 架构特点 | 强项 |
|---|---|---|---|
| GPT-4o / GPT-5 | 闭源 | 原生多模态 | 综合推理、实时语音 |
| Claude 系列 | 闭源 | 视觉适配器路线 | 文档/图表分析、代码截图 |
| Gemini 2.x | 闭源 | 原生 any-to-any | 超长视频理解、图像生成 |
| Qwen2.5-VL / Qwen3-VL | 开源 | 动态分辨率 + 视频原生 | 中文 OCR、grounding、视频 |
| InternVL 2.5/3 | 开源 | 大视觉塔(~6B ViT) | 细粒度识别、开源榜单 |
| LLaVA-OneVision | 开源 | MLP + AnyRes | 生态最全、二次开发友好 |
| MiniCPM-V | 开源 | 小参数高分辨率 | 端侧多模态 |
评测常看 MMMU、OCRBench、Video-MME、MathVista,但务必用业务自己的数据补测——通用榜单与垂直能力(如中文发票 OCR)相关性弱。
4. 工程选型与实践建议
- 只是"看图说话"(分类/以图搜图):CLIP/SigLIP 双塔足够,成本最低
- 图文问答 / Agent 视觉:Era 2/3 的 VLM,闭源省事,开源看显存与中文需求
- 视频理解:优先原生视频模型(Qwen2.5-VL/Gemini)——抽帧+逐图描述的拼装方案在时序推理上明显吃亏
- OCR/文档:锁定支持动态分辨率的模型;纯文档解析可用专用 OCR + VLM 混合管线
- 端侧:MiniCPM-V、Qwen-VL 2B/4B + 量化,手机已可运行
- 多模态 RAG:图文同库同嵌入(Jina-CLIP/BGE-VL 类),或 VLM 先把图转成文字再进纯文本管线——后者当前更稳
5. 趋势与总结
三条主线:统一理解与生成(any-to-any 消除"看图"与"画图"的架构分界)、长视频与时空推理(小时级输入、3D/grounding 强化)、原生多模态 Agent(GUI 操作、屏幕理解、机器人 VLA)。
回到起点:多模态的演进不是线性的"模型变大",而是视觉与语言耦合深度的四次跃迁。架构决定能力边界,数据配方决定实际水平,工程细节(分辨率、token 预算、延迟)决定生产可用性。选型时先定位需要哪个时代的能力,再在该时代内比较成本与垂直指标——这是穿越模型快速迭代周期最稳的决策框架。
(注:本文为公开论文、官方技术报告与主流榜单的信息整理,架构与能力描述截至 2026 年初,具体模型参数以官方文档为准,非本地实测。)
本文面向授权安全研究与防御建设,未经授权对任何系统实施文中技术属违法行为。