引言：一场影响深远的架构革命
2017年，Vaswani等人在Attention Is All You Need中提出的Transformer架构，彻底改变了深度学习的研究范式。十年间，从自然语言处理到计算机视觉、蛋白质结构预测、科学计算，Transformer展现出惊人的通用性。本文沿着Self-Attention→预训练大模型→跨模态统一→稀疏激活的技术路线，解析这场仍在进行的架构变革。
Self-Attention机制：Transformer的基石
Transformer的核心是多头自注意力(Multi-Head Self-Attention)。与传统RNN的顺序处理不同，Self-Attention能够直接计算序列中任意两个位置之间的依赖关系，实现O(1)的路径长度。但代价是O(n²)的计算和内存复杂度——这是Transformer处理长文本的根本瓶颈。
// 缩放点积注意力（Scaled Dot-Product Attention）
// Q (Query) x K (Key) → 相似度矩阵 × V (Value) → 加权和
Attention(Q,K,V) = softmax(Q·K^T / √d_k) · V
// 多头注意力：投影到h个子空间并行计算
// Head_i = Attention(Q·W_i^Q, K·W_i^K, V·W_i^V)
// MultiHead(Q,K,V) = Concat(Head_1,...,Head_h)·W^O
// 自注意力的计算复杂度：O(n^2 · d) 时间与 O(n^2 + n·d) 空间位置编码(Positional Encoding)弥补了Self-Attention的排列不变性：正弦/余弦函数或可学习嵌入为序列注入顺序信息。后续RoPE、ALiBi等改进进一步解决了长序列外推问题。
预训练大模型时代：GPT与BERT的双轨演进
Transformer架构催生了两种核心范式：(1) GPT系列（ decoder-only，自回归语言建模，从117M参数的GPT-1到175B参数的GPT-3）；(2) BERT系列（encoder-only，掩码语言模型，双向上下文理解）。两者共同推动了NLP的范式转换——预训练+微调取代手工特征工程。GPT-3还展示了few-shot学习能力，证明当模型参数量突破千亿级，涌现能力(Emergent Abilities)开始显现。
Vision Transformer (ViT)：跨模态统一的尝试
Dosovitskiy等人2020年的ViT将图像切分为16x16的patch序列，直接输入标准Transformer编码器。在JFT-300M预训练的ViT-L/16在ImageNet上达到88.55% top-1准确率，首次证明了CNN特征的非必需性。后续DeiT引入知识蒸馏训练策略，Swin Transformer引入层次化窗口注意力，ViT在视觉领域实现了对CNN的超越。
混合专家模型MoE：稀疏激活的参数效率革命
MoE是近年最重要的架构创新之一。其核心思想是将前馈网络(FFN)层替换为N个并行专家网络(Expert)，通过门控网络(Gate Network)动态选择Top-K个专家激活。这样，模型总参数量可以极大增加（如1万亿参数），而每次推理仅激活少量参数（如数十亿），实现了参数规模与计算效率的解耦。
// Mixture-of-Experts 层前向计算（简化）
// 输入: x (batch_size, seq_len, d_model)
// 1. 门控计算: G(x) = Softmax(W_g · x) // Shape: (N_experts,)
// 2. 选择Top-K专家: TopK(G(x)) → gates, expert_indices
// 3. 专家计算:
// for each expert i in selected:
// y_i = Expert_i(x) = W_i2 · GELU(W_i1 · x) // FFN
// 4. 加权聚合: output = Σ(gate_i · y_i) // 加权求和
//
// 负载均衡辅助Loss（防止专家崩塌）:
// L_balance = α · Σ(f_i · P_i)
// 其中 f_i 是分配给专家i的token比例，P_i 是专家i的平均门控概率Switch Transformer (Google, 2021) 将Top-K设置为1，简化了路由并实现了1.6T参数的高效训练。GLaM (Google, 2021) 在语言建模任务中证明MoE在同等质量下能耗仅为dense模型的1/3。Mistral AI的Mixtral 8x7B (2024) 将MoE推向开源前沿——虽然拥有46.7B总参数，但仅激活12.9B/Token，性能却超越LLaMA-2 70B。
MoE的核心工程挑战
- 负载均衡：大多数tokens可能集中路由到少数专家，导致其他专家训练不足。专家容量(Expert Capacity)限制+辅助均衡Loss是主流方案
- All-to-All通信：分布式训练中，tokens需要通过跨节点路由到其他专家所在设备，网络带宽成为瓶颈
- 专家坍塌(Expert Collapse)：训练过程中专家趋于同质化。Noisy Top-K和Z-Loss正则化可缓解
- 细粒度专家与推理成本：Top-K=2时需要加载2个专家的参数，当专家分布跨多GPU时，显存压力巨大
Transformer架构的演进路线
| 年份 | 里程碑 | 核心创新 |
|---|---|---|
| 2017 | Transformer | Self-Attention + 位置编码 |
| 2018 | BERT/GPT-1 | 预训练大模型 |
| 2020 | GPT-3 (175B) | Few-shot涌现能力 |
| 2020 | ViT | 视觉Transformer |
| 2021 | Switch Transformer | Top-1路由的万亿参数MoE |
| 2022 | Chinchilla法则 | 70B模型+1.4T tokens最优配比 |
| 2023 | GPT-4, Claude | RLHF对齐+多模态 |
| 2024 | Mixtral 8x7B | 开源MoE实用化 |
展望：超越Softmax Attention
Transformer并非万能。O(n²)的注意力复杂度驱动了系列替代研究：线性注意力(Performer, CosFormer)、状态空间模型(Mamba, S4)、循环机制(RWKV)。这些架构在特定任务上已逼近或超越Transformer，预示着后Transformer时代的来临。但Self-Attention的通用性与可解释性仍使其在多数场景中保持主导地位。架构创新的下一个十年，将是稀疏化、高效化和多模态融合的十年。
发表评论 取消回复