ARTICLE / ai

多模态大模型技术栈:从 Vision-Language Model 到原生多模态架构的技术演进

多模态 AI 已从实验室中的"图像描述工具"演变为能够同时理解文本、图像、音频、视频的通用智能系统。2024 年 GPT-4o 的发布标志着一个分水岭——模型不再只是"看图说话",而是从底层架构层面原生支持多种模态的联合训练与推理。到 2026 年,多模态能力已从"差异化优势"变成了"入场门票",没有视觉理解能力的大模型几乎无法进入生产级应用场景。

然而,从 CLIP 到 GPT-4o 的演进路径并非线性升级,而是经历了多次架构范式的跃迁。理解这些范式之间的区别,对于 AI 工程师选择模型、设计系统、评估方案至关重要。本文将从架构演进脉络出发,系统梳理 Vision-Language Model(VLM)的核心组件、训练范式、主流模型对比以及前沿趋势,为技术从业者提供一份完整的多模态技术栈全景图。


1. VLM 架构四大时代

VLM 的架构设计在短短六年内经历了四个截然不同的时代,每个时代都代表了对"如何让语言模型理解视觉信息"这一根本问题的不同回答。

1.1 Era 1:冻结双塔 + 对比学习(2021-2022)

这一时代的代表是 CLIP(Contrastive Language-Image Pre-training),由 OpenAI 于 2021 年发布。核心思想极其简洁:

用一个图像编码器和一个文本编码器,在海量图文对上进行对比学习,让语义相似的图文在嵌入空间中靠近。

┌──────────────────────────────────────────────────────┐
│                 CLIP 双塔架构                         │
│                                                      │
│   ┌──────────┐         ┌──────────┐                  │
│   │  Image   │  对比   │  Text    │                  │
│   │ Encoder  │  学习   │ Encoder  │                  │
│   │ (ViT)    │ ◄─────► │ (BERT)   │                  │
│   └────┬─────┘         └────┬─────┘                  │
│        │                    │                        │
│        ▼                    ▼                        │
│   ┌──────────────────────────────┐                   │
│   │   共享嵌入空间 (Embedding)     │                   │
│   │   图文相似度 = cosine(z_i, z_t)│                   │
│   └──────────────────────────────┘                   │
└──────────────────────────────────────────────────────┘

核心创新:首次大规模验证了对比学习可以学到强大的跨模态对齐表示。CLIP 的零样本分类能力震惊了学术界——无需任何标注数据就能在 ImageNet 上达到与有监督模型可比的性能。

关键局限:CLIP 本身没有生成能力,它只是一个"对齐器"。后续的 BLIP-2 和 Flamingo 试图通过在 CLIP 之上添加一个可学习的桥接模块(Q-Former)来弥补这一缺陷,但这种冻结双塔 + 外挂桥接的架构存在天然的信息瓶颈。

1.2 Era 2:LLM 为骨干 + 视觉适配器(2023-2024)

Era 2 是目前开源社区最主流的架构范式。核心转变是让一个预训练好的 LLM 成为系统中枢,视觉信息通过一个轻量级投影层注入 LLM 的嵌入空间。

LLaVA(Large Language-and-Vision Assistant)是这一范式的标志性工作:

┌──────────────────────────────────────────────────────┐
│              LLaVA 架构(Era 2 代表)                  │
│                                                      │
│   ┌──────────┐    ┌─────────┐    ┌──────────────┐   │
│   │  Vision  │    │  MLP    │    │              │   │
│   │ Encoder  │───►│Projection│───►│     LLM      │   │
│   │ (CLIP)   │    │  Layer  │    │  (Vicuna/    │   │
│   └──────────┘    └─────────┘    │   LLaMA)     │   │
│                                  │              │   │
│   ┌──────────┐                   │  文本 Token   │   │
│   │  Token   │──────────────────►│     +        │   │
│   │Tokenizer │                   │  视觉 Token   │   │
│   └──────────┘                   └──────┬───────┘   │
│                                         │           │
│                                         ▼           │
│                                    ┌──────────┐     │
│                                    │  自回归   │     │
│                                    │  文本生成  │     │
│                                    └──────────┘     │
└──────────────────────────────────────────────────────┘

两阶段训练协议:

  1. 预训练对齐阶段:冻结 Vision Encoder 和 LLM,仅训练 MLP 投影层,让视觉特征对齐到 LLM 的语义空间
  2. Visual Instruction Tuning 阶段:解冻 LLM,使用高质量视觉指令数据进行端到端微调

这一范式的核心优势是简单且高效——MLP 投影保留了所有 patch token 的空间信息,且实现成本极低。后续的 LLaVA-1.5 证明,仅用一个两层 MLP 就足以在多个 benchmark 上超越更复杂的 Q-Former 方案。

1.3 Era 3a:原生多模态输入(2024-2025)

Era 3a 的代表是 GPT-4V 和早期版本的 Gemini。与 Era 2 的本质区别在于:

不再把视觉编码器当作一个"外挂",而是从预训练阶段就开始在多模态数据上联合训练整个模型。

Era 3a 的模型在输入端已经实现了原生多模态——图像 patch token 和文本 token 在同一个 Transformer 中被早期融合(early fusion),跨模态的注意力在底层就已经发生。

关键进步:

  • 动态分辨率处理:不再将所有图像强制缩放到固定尺寸,而是支持原生分辨率输入,这对文档理解和细粒度识别至关重要
  • 多模态上下文窗口:视觉 token 与文本 token 共享同一个上下文窗口,支持图文交错的长序列输入
  • 改进的空间推理:通过 2D-RoPE 等位置编码方案,模型能够理解图像的空间结构

1.4 Era 3b:原生多模态输入+输出(2024-至今)

GPT-4o(“o” for Omni)把这一理念推向工程现实:“o” for Omni,意味着文本、音频、视觉进入同一个模型做端到端训练与生成——语音输出不再是"文本+TTS"的拼装,而是模型直接生成音频 token。这一代的意义在于跨模态细粒度对齐与实时交互(打断、附和、低延迟语音对话)成为可能。

生成侧同步融合:Gemini 2.x 把图像生成/编辑纳入统一模型(Nano Banana 是其产品化代号),Chameleon 与 GPT-4o 原生图像生成则验证了"任意模态输入输出"的自回归可行性。

1.5 四个时代的演进逻辑

时代代表视觉与语言的关系主要瓶颈
Era 1CLIP双塔独立编码,对比对齐无生成、无推理
Era 2LLaVA / Qwen-VL冻结视觉 + 投影层 + LLM信息瓶颈、分辨率损失
Era 3aGPT-4V / Gemini 1.x原生多模态输入输出仍限文本
Era 3bGPT-4o / Gemini 2.x输入输出全模态训练数据与算力门槛高

Era 2 至今仍是开源多模态的主流方案——成本低、模块化、视觉编码器可替换;Era 3 是闭源旗舰的护城河。工程师选型的第一步,就是判断场景需要哪个时代的能力。


2. VLM 核心组件拆解

2.1 视觉编码器:从 CLIP 到 SigLIP

Era 2 之后的事实标准是 ViT + SigLIP。SigLIP 用 sigmoid 二值损失替换 CLIP 的 softmax 对比损失,去掉全局归一化后小 batch 也能训、显存效率更高,Google 系视觉塔已全面迁移;Qwen-VL、InternVL、LLaVA 系则各自基于 OpenCLIP、SigLIP 变体继续预训练。

动态分辨率是另一个关键差异:

  • 固定分辨率(336/448px):文档、OCR 场景直接损失细节
  • Native Resolution / AnyRes(Qwen2-VL、LLaVA-NeXT):按原分辨率切 patch,大图拆多个 tile 拼接 token,OCR 与图表理解能力跃升
  • 动态视觉 token 数:按内容生成变长 token 序列,避免小图浪费上下文窗口

2.2 连接模块:MLP 胜出

Q-Former 与 MLP 的路线之争已有结论:LLaVA-1.5 证明两层 MLP 不输甚至优于复杂桥接。代价是高分辨率下视觉 token 暴涨(一张图上千 token),因此出现视觉 token 压缩(空间池化)与 DeepStack(多尺度视觉特征注入不同 LLM 层)等折中方案。

2.3 训练配方

标准三段式:

  1. 图文对齐预训练:冻结两端、只训投影层,数十亿级弱配对图文
  2. 多任务继续预训练:混入 OCR、图表、grounding、多图数据,解冻部分训练
  3. 视觉指令微调(V-IFT):高质量图文指令 SFT + 偏好对齐

2024-2025 年的消融反复证明:数据配方的贡献大于架构差异——同一架构喂不同数据,OCR/图表能力可差一个数量级。


3. 主流模型格局(2025-2026)

模型阵营架构特点强项
GPT-4o / GPT-5闭源原生多模态综合推理、实时语音
Claude 系列闭源视觉适配器路线文档/图表分析、代码截图
Gemini 2.x闭源原生 any-to-any超长视频理解、图像生成
Qwen2.5-VL / Qwen3-VL开源动态分辨率 + 视频原生中文 OCR、grounding、视频
InternVL 2.5/3开源大视觉塔(~6B ViT)细粒度识别、开源榜单
LLaVA-OneVision开源MLP + AnyRes生态最全、二次开发友好
MiniCPM-V开源小参数高分辨率端侧多模态

评测常看 MMMU、OCRBench、Video-MME、MathVista,但务必用业务自己的数据补测——通用榜单与垂直能力(如中文发票 OCR)相关性弱。


4. 工程选型与实践建议

  1. 只是"看图说话"(分类/以图搜图):CLIP/SigLIP 双塔足够,成本最低
  2. 图文问答 / Agent 视觉:Era 2/3 的 VLM,闭源省事,开源看显存与中文需求
  3. 视频理解:优先原生视频模型(Qwen2.5-VL/Gemini)——抽帧+逐图描述的拼装方案在时序推理上明显吃亏
  4. OCR/文档:锁定支持动态分辨率的模型;纯文档解析可用专用 OCR + VLM 混合管线
  5. 端侧:MiniCPM-V、Qwen-VL 2B/4B + 量化,手机已可运行
  6. 多模态 RAG:图文同库同嵌入(Jina-CLIP/BGE-VL 类),或 VLM 先把图转成文字再进纯文本管线——后者当前更稳

5. 趋势与总结

三条主线:统一理解与生成(any-to-any 消除"看图"与"画图"的架构分界)、长视频与时空推理(小时级输入、3D/grounding 强化)、原生多模态 Agent(GUI 操作、屏幕理解、机器人 VLA)。

回到起点:多模态的演进不是线性的"模型变大",而是视觉与语言耦合深度的四次跃迁。架构决定能力边界,数据配方决定实际水平,工程细节(分辨率、token 预算、延迟)决定生产可用性。选型时先定位需要哪个时代的能力,再在该时代内比较成本与垂直指标——这是穿越模型快速迭代周期最稳的决策框架。

(注:本文为公开论文、官方技术报告与主流榜单的信息整理,架构与能力描述截至 2026 年初,具体模型参数以官方文档为准,非本地实测。)

本文面向授权安全研究与防御建设,未经授权对任何系统实施文中技术属违法行为。