引言
大语言模型(LLM)的推理性能直接影响用户体验和部署成本。随着模型规模从 7B 增长到 70B 甚至更大,推理阶段的计算和内存瓶颈日益突出。本文从工程实践角度,系统梳理大模型推理优化的核心技术,涵盖 KV Cache 机制、投机采样、量化部署、连续批处理等关键方向。
一、KV Cache:理解推理性能的核心
Transformer 架构在自回归生成时,每生成一个 token 都需要对之前所有 token 做注意力计算。KV Cache 通过缓存历史 token 的 Key 和 Value 向量,将时间复杂度从 O(n²) 降低到 O(n)。
1.1 KV Cache 内存占用分析
以 LLaMA-2-70B 为例,80 层、80 个注意力头、head_dim=128:
每 token KV Cache = 2 (K+V) × 80层 × 80头 × 128维 × 2字节(FP16)
= 2 × 80 × 80 × 128 × 2
= 3,276,800 字节 ≈ 3.125 MB
对于 4K 上下文,仅 KV Cache 就需要约 12.5 GB 显存,这解释了为什么长上下文推理需要多卡并行。
1.2 PagedAttention:内存管理的革命
vLLM 提出的 PagedAttention 借鉴了操作系统虚拟内存的分页思想:
- 非连续存储:KV Cache 不再要求连续内存块,而是分成固定大小的 page
- 动态分配:按需分配 page,避免预分配造成的内存浪费
- 共享机制:多个请求可以共享相同的 prefix KV Cache(如 system prompt)
实测表明,PagedAttention 可以将吞吐量提升 2-4 倍,同时支持更长的上下文。
二、投机采样:用小花换大时间
投机采样(Speculative Decoding)是一种用轻量模型加速重型模型推理的技术。核心思想是:用小模型(draft model)快速生成候选 token,再用大模型(target model)一次性验证。
2.1 算法流程
1. Draft 模型生成 k 个候选 token:x₁, x₂, ..., xₖ
2. Target 模型并行计算这 k 个位置的概率分布
3. 从左到右验证:
- 若 xᵢ 被接受,继续验证 xᵢ₊₁
- 若 xᵢ 被拒绝,从修正分布中采样替换
4. 无论接受与否,Target 模型都前进至少一个 token
2.2 加速比分析
假设 draft 模型速度是 target 的 10 倍,接受率 α=0.7:
期望加速比 = (1 + k) / (1 + k × (1 - α))
当 k=4 时:加速比 ≈ 5 / (1 + 4×0.3) = 5/2.2 ≈ 2.27x
实际部署中,EAGLE、Medusa 等方案通过多 token 预测进一步提升了加速效果。
三、量化部署:在精度与性能间权衡
量化是降低推理成本的关键手段,主流方案包括:
3.1 GPTQ 与 AWQ
- GPTQ:基于二阶信息(Hessian)的逐层量化,4-bit 量化下 perplexity 损失通常小于 1%
- AWQ:激活感知量化,通过分析激活分布保护重要权重通道,在边缘设备上表现更优
3.2 GGUF 与 llama.cpp
llama.cpp 生态提供了灵活的量化方案:
Q4_K_M:4-bit 量化,K-means 聚类,平衡精度与速度
Q5_K_M:5-bit 量化,更高精度
Q8_0:8-bit 量化,接近 FP16 精度
实测在 RTX 3090 上,LLaMA-2-70B Q4_K_M 可以达到约 8 tokens/s 的生成速度。
四、连续批处理与服务架构
高并发场景下,连续批处理(Continuous Batching)是提升吞吐量的关键:
- 静态批处理:等待一批请求完成,GPU 利用率低
- 连续批处理:新请求可以随时加入当前批次,完成的请求立即释放资源
vLLM、TensorRT-LLM 等框架都实现了高效的连续批处理调度器。
五、实践建议
- 短上下文场景:优先使用投机采样 + FP16,延迟最优
- 长上下文场景:使用 PagedAttention + 多卡张量并行
- 边缘部署:AWQ 4-bit + llama.cpp,平衡精度与内存
- 高并发服务:vLLM + 连续批处理 + 动态扩缩容
结语
大模型推理优化是一个系统工程,需要根据具体场景(延迟要求、硬件资源、上下文长度)选择合适的组合方案。随着模型架构演进(如 Mamba、RWKV 等线性注意力方案)和硬件升级(如专用 AI 加速卡),推理性能仍将持续提升。

发表评论 取消回复