大模型推理引擎 KV Cache 三级存储架构:从 GPU HBM 到 CPU DRAM 再到 NVMe SSD 的工程实践
深度剖析大推理引擎中 KV Cache 跨 GPU HBM、CPU DRAM、NVMe SSD 三级存储的调度架构与工程实现,涵盖 PagedAttention 的页表管理、CPU 换入换出策略、NVMe KV Cache 引擎设计、预取与淘汰算法,以及 2026 年最新方案对比(vLLM、SGLang、Mooncake、DistServe),附生产级性能基准与优化实践。
