LLM推理优化三驾马车：量化、推测解码与KV Cache压缩实战

引言

随着大语言模型（LLM）参数规模从百亿迈向万亿，推理成本成为制约落地的核心瓶颈。一块 A100 80GB 显卡运行 175B 参数模型时，仅权重就占据大半显存，留给推理计算的余量极其有限。本文深入解析当前工业界三大核心优化技术——模型量化、推测解码和 KV Cache 压缩，带你理解如何让 LLM 推理又快又省。

一、模型量化：用精度换空间

1.1 为什么需要量化

以 FP16 精度的 7B 模型为例，权重占用约 14GB 显存。当上下文窗口扩展到 8K Token 时，仅 KV Cache 就可能消耗数 GB 内存。量化技术的核心思想是通过降低权重和激活值的位宽（如从 FP16 降到 INT8、INT4），在几乎不损失模型质量的前提下大幅压缩显存占用。

1.2 主流量化方案对比

GPTQ（Generative Pre-trained Transformer Quantization）：训练后量化（PTQ）的代表方案。通过二阶信息（Hessian 矩阵近似）逐层最小化量化误差，可将模型压缩至 4-bit 甚至 3-bit，精度损失控制在 1% 以内。GPTQ 的核心优势在于无需重新训练，几十分钟即可完成 70B 模型的量化。

AWQ（Activation-aware Weight Quantization）：关键创新在于观察不同通道的重要性差异——仅约 0.1% 的权重通道（salient channels）贡献了模型 99% 的表达能力。AWQ 通过保护这些重要通道（保持 FP16），对其余通道进行激进量化，实现了比 GPTQ 更优的精度-效率平衡。

GGUF/GGML 格式：llama.cpp 生态采用的量化格式，支持从 Q2_K（2-bit）到 Q8_0（8-bit）多种位宽。配合 CPU 推理优化（SIMD 指令集、内存映射），让消费级硬件也能流畅运行 7B 级别模型。

bitsandbytes NF4：与 QLoRA 微调方案配合使用的 4-bit 浮点量化格式，采用非均匀量化（NormalFloat）更符合权重分布特性。

1.3 实践数据

以 Llama 2 7B 模型为例，各量化方案的显存占用与推理速度对比：

• FP16 原始：14GB 显存，基准速度 100%
• Q8_0 量化：7.5GB 显存，速度 98%
• Q4_K_M 量化：4.2GB 显存，速度 105%（得益于 GGUF 的 SIMD 优化）
• Q2_K 量化：2.8GB 显存，速度适度下降约 15%

二、推测解码（Speculative Decoding）

2.1 核心思路

LLM 推理的瓶颈不在计算而在显存带宽——每次 Token 生成都需要从显存加载全部模型参数。当大模型逐 Token 串行推理时，GPU 的计算单元大部分时间在等待数据搬运。推测解码利用一个小模型（draft model）快速生成候选 Token 序列，然后让大模型一次性验证这些 Token。

2.2 算法流程

推测解码每轮迭代包含三步：第一步，小模型连续生成 γ 个候选 Token（γ 通常取 4~8）；第二步，大模型并行验证这 γ 个 Token。由于大模型一次性输入多个 Token 的矩阵运算效率远高于逐 Token 串行推理，这一步的额外开销很小；第三步，接受大模型确认一致的 Token，拒绝分歧位置的后续 Token。大模型从分歧位置开始继续生成下一轮。

2.3 加速原理

加速效果取决于小模型的接受率 α（accept rate）。如果小模型足够"聪明"，与大约 80% 的候选 Token 与大模型一致，则理论上可将推理延迟降低约 2.5 倍。理想情况下接受率 P(accept)=0.8 时，每轮循环平均产出 0.8/(1-0.8) = 4 个 Token，仅需 1 次前向计算加 1 次小模型前向计算，等效于两倍以上的提速。

2.4 实际工程要点

实践中最关键的是小模型选择：可以是同一系列的较小版本（如 Llama 3.1 70B 配合 Llama 3.2 1B/3B）、蒸馏模型甚至是早期 checkpoint。2025 年 NeurIPS 上的 Medusa 方案更进一步，训练大模型自己学会"一步多 Token"的并行预测头（multi-head speculation），无需额外小模型。

三、KV Cache 压缩：破解显存墙

3.1 为什么 KV Cache 是瓶颈

KV Cache 存储每个 Token 的 Key-Value 向量矩阵，其大小与模型维度、层数、序列长度和批大小成正比。对于 Llama 3 8B 模型，单层单个 Token 的 KV Cache 约为 80×128×2 = 20KB（KV 维度各 128），80 层总计约 1.6MB/Token。当上下文窗口达到 128K 时，单条请求的 KV Cache 可膨胀到 200MB。

3.2 PagedAttention：虚拟内存管理 KV Cache

vLLM 提出的 PagedAttention 借鉴操作系统虚拟内存分页机制，将 KV Cache 切分为固定大小的分页（如 16 个 Token 为一页），通过 block table 映射实现逻辑连续、物理离散的存储。这彻底消除了传统连续分配导致的碎片问题，显存利用率从 20~40% 提升至接近 100%。

3.3 Token 淘汰与稀疏注意力

H2O（Heavy Hitter Oracle）：基于 KV Cache 的注意力分布高度稀疏——少数 Token 获得绝大多数注意力权重。H2O 在生成时动态追踪累计注意力分数，当 KV Cache 达到上限时自动淘汰累积注意力最低的 Token。实验表明，丢弃 80% 的 KV Cache 仅导致困惑度上升不到 0.05。

StreamingLLM：解决长文本"灾难性遗忘"问题——当序列超过训练窗口时，模型性能急剧下降。StreamingLLM 发现注意力主要集中在初始 Token（sink tokens）和最近的 Token（local attention）上。保留前 4 个 sink Token 加最近窗口，可将有效上下文从 4K 扩展到 32K+ 而不重训。

GQA（Grouped Query Attention）：从模型架构层面减少 KV Cache 体积。通过让多个 Query Head 共享同一组 KV Head，Llama 3 使用 8 个 KV Head 服务 32 个 Query Head，KV Cache 直接压缩到 1/4。

3.4 FlashAttention：从 IO 优化到极致

FlashAttention 通过算子融合（kernel fusion）和 tiling 策略，避免将中间注意力矩阵写入 HBM（高带宽显存），全部计算在 SRAM（片上高速缓存）中完成。对于 128K 上下文，FlashAttention-2 相比标准注意力实现 2-4 倍加速，内存占用从 O(N²) 降为 O(N)。

四、组合优化实战：效果叠加

当三大技术协同工作时，优化效果呈叠加态势：一块 RTX 4090 24GB 显卡，通过 Q4_K_M 量化 +推测解码 + FlashAttention-2，可流畅运行 Llama 3.1 70B 模型（量化后约 38GB 存储，但推理时仅需加载活跃层）；或者在消费级笔记本上通过 GGUF Q4_K_M 在 CPU 上以每秒 20+ Token 的速度运行 Llama 3.2 3B 模型。

五、未来展望

推理优化正在从"事后补救"走向"原生设计"。2026 年我们看到了更多原生量化的模型（如原生 INT4 训练的 BitNet b1.58）、架构级稀疏注意力（Mamba、RWKV 等状态空间模型替代 Transformer 的全局注意力），以及硬件-算法协同设计的专用推理芯片（Groq LPU、Cerebras WSE 等）。推理成本每 12-18 个月下降一个数量级，这一趋势预示着 LLM 真正普惠化的时代即将到来。

总结

量化解决了"模型能不能装下"的问题，推测解码解决了"生成够不够快"的问题，KV Cache 压缩解决了"超长上下文撑不撑得住"的问题。这三大技术当前已形成成熟的工程生态（vLLM、TensorRT-LLM、llama.cpp 等），任何希望部署 LLM 的团队都应深入理解并灵活运用。在 AI 应用层创新日趋同质化的今天，推理效率本身就是核心竞争力。