ARTICLE / ai
Mixture of Experts 架构:稀疏激活如何重塑大语言模型的效率与规模
大语言模型的 Scaling Law 曾长期遵循一个简单假设:更大的参数量意味着更强的能力,但代价是成比例增长的计算开销。GPT-4 据报训练成本超过 1 亿美元,Llama 2 耗费 330 万 A100 GPU 小时——当参数规模逼近万亿级别,Dense 模型的线性扩展路径正变得难以持续。
2024-2025 年,一个从 1991 年就存在的架构思想强势回归:Mixture of Experts(MoE)。DeepSeek-V3 以 671B 总参数、仅 37B 激活参数的稀疏架构,用 557 万美元的训练成本达到了 GPT-4 级别的性能。MoE 不再是学术界的好奇心,它已成为 2025 年超过 60% 开源模型发布的默认选择——从 Mixtral 到 Grok,从 Qwen-MoE 到 Gemini。
本文将从 MoE 的基础原理出发,系统梳理稀疏路由机制、负载均衡策略、代表性模型架构对比,以及从训练到生产部署的工程实践,帮助技术决策者和 AI 工程师理解这一正在重塑大模型经济学的关键架构范式。
1. 从 Dense 到 Sparse:为什么需要 MoE
1.1 Dense 模型的计算瓶颈
在传统的 Dense Transformer 中,每个 token 的前向传播会激活模型的所有参数。对于一个 70B 参数的 Dense 模型,每个 token 的生成都需要执行 70B 参数的完整计算。这意味着:
- 计算成本与参数量线性绑定——想要更强的模型,就必须支付更多的 FLOPs
- 显存需求与总参数量成正比——所有参数必须常驻显存,即使对当前输入并无贡献
- 训练成本呈超线性增长——更多的参数需要更多的数据、更多的 GPU 小时
核心矛盾:并非所有参数都对所有输入有用。一个关于 Python 语法的问题,和一个关于罗马历史的问题,理论上需要不同的神经通路。但在 Dense 模型中,每个神经元都无差别地参与每次计算。
1.2 MoE 的核心思想:条件计算
MoE 的本质是将「模型容量」和「计算开销」解耦。其核心思路极为朴素:
- 将一个大的 FFN 层拆分为多个独立的「专家」(Expert)子网络
- 引入一个轻量级的「路由器」(Router/Gating Network),为每个 token 动态选择最相关的少数几个专家
- 只激活被选中的专家,其余专家保持静默
这种「稀疏激活」带来了参数量和计算量的解耦:DeepSeek-V3 拥有 671B 总参数,但每个 token 仅激活 37B(约 4.8%),推理成本相当于一个 37B 的 Dense 模型,却拥有 671B 参数的知识容量。
2. MoE 在 Transformer 中的实现
2.1 Transformer Block 的 MoE 改造
在标准的 Decoder-only Transformer 中,每个 Block 包含两个核心子层:Self-Attention 和 FFN(Feed-Forward Network)。MoE 的做法是将 FFN 层替换为 MoE 层,而 Attention 层和其他组件(LayerNorm、Residual Connection)保持不变:
2.2 Router 的形式化定义
路由器本质上是一个线性投影 + Top-K 选择。对于输入 token 表示 x,专家集合 {E_1…E_N}:
Mixtral 8x7B 的配置是 N=8 专家、K=2 激活——每个 token 只经过 2 个 FFN,激活参数约为等效 Dense 模型的 1/4,却保留了 8 个专家的容量。
DeepSeek-V3 更进一步,采用 Auxiliary-loss-free 负载均衡:不再往损失函数加均衡正则项(那会干扰主任务收敛),而是在路由 logits 上给每个专家叠加可学习偏置,按负载动态调整——过载专家偏置调低、闲置专家调高。这是 2025 年之后 MoE 训练最重要的工程改进之一。
2.3 Fine-grained Experts 与 Shared Expert
传统 MoE 用"少量大专家",现代设计转向多而小的细粒度专家:
- DeepSeek-V2/V3 将专家数提到 256、路由激活 8 个,外加 1 个始终激活的 Shared Expert
- 细粒度让专家组合空间指数级扩大(C(256,8)),同一 token 可复用不同"知识碎片",容量利用率远高于 8 选 2
- 共享专家承担通用计算(语法、高频模式),路由专家负责长尾专精——消融实验中这一分工对困惑度有可测量的贡献
2.4 MoE 的代价:显存与通信
MoE 并非免费的午餐:
| 维度 | Dense 70B | MoE 70B(8 专家) |
|---|---|---|
| 每 token 计算量 | 70B 全激活 | ~13B 激活 |
| 权重显存 | 70B | 70B 全量常驻 |
| 多卡通信 | 低 | 高(All-to-All 专家分发) |
| 批量友好度 | 好 | 专家负载不均导致抖动 |
关键陷阱:MoE 降低的是计算量而不是显存——推理时所有专家权重都必须可访问,这就是 MoE 模型在消费级显卡上往往比"同激活参数量 Dense 模型"更难部署的原因。
3. 代表性模型与训练难题
| 模型 | 总参数 | 激活参数 | 专家数/Top-K | 特色 |
|---|---|---|---|---|
| Mixtral 8x7B | 47B | 13B | 8/2 | 开源 MoE 时代的起点 |
| Grok-1.5 | 418B | ~60B | 8/1+shared | 领域专家分化 |
| Qwen3-235B | 235B | 22B | 128/8 | 细粒度专家 + 全局路由 |
| DeepSeek-V3 | 671B | 37B | 256/8+1 | Aux-loss-free 均衡、MTP 多 token 预测 |
训练层的三大难题:
- 负载均衡:路由器倾向把 token 集中送给少数"先跑出来"的专家(rich-get-richer)。除辅助损失、动态偏置外,还有容量因子(capacity factor)方案——给每个专家设 token 上限,溢出 token 走残差直连
- 专家并行(EP):训练时不同专家分布到不同 GPU,All-to-All 通信成为瓶颈,需要 FSDP + EP + TP 的多维并行组合
- 路由坍缩:冷启动阶段各专家输出趋同、梯度无差异,常用初期高温度路由 + 专家 dropout 缓解
4. 推理部署实操
以 DeepSeek-V3(671B/37B)为例算账:
vLLM、SGLang、TensorRT-LLM 在 2025 年都加入了专家并行推理与 EPLB(专家负载重均衡):运行时监控各专家 token 命中率,把热点专家复制多份——直接改善生产流量偏斜(例如代码请求扎堆某个专家)造成的长尾延迟。
选型建议:
- 显存大、并发高 → MoE 是默认选择:计算便宜、容量大
- 显存受限的边缘设备 → 优先 Dense 小模型,或选低总参 MoE(如 Qwen3-30B-A3B)
- 微调 MoE → 全参微调成本高,LoRA 更实际;router 权重通常冻结或单独加均衡损失处理
5. 总结
MoE 用"条件计算"把模型容量与每 token 成本解耦,让 671B 参数只需 37B 的计算价签,也把大模型经济学从"参数线性定价"改写为"激活量定价"。代价同样清晰:权重显存不降、多卡通信复杂、负载均衡与训练稳定性需要额外工程。对生产系统,MoE 已是开源旗舰的主流形态——评估时记住三笔账:激活参数决定延迟与算力成本、总参数决定显存与部署形态、路由质量决定实际能力上限。稀疏激活不是魔法,而是把"存知识"和"花计算"拆成两笔预算的架构会计。
(注:文中架构与成本数据整理自 DeepSeek、Mistral、Google 各模型技术报告与公开论文,属技术综述;训练成本等数字以官方披露口径为准。)
本文面向授权安全研究与防御建设,未经授权对任何系统实施文中技术属违法行为。