大语言模型推理部署优化：从KV Cache到投机解码的系统工程实战
深入剖析大语言模型推理部署的核心优化技术，涵盖KV Cache显存管理与PagedAttention、投机解码加速原理、Continuous Batching调度、GPTQ/AWQ/FP8量化、张量/流水线/专家并行策略、FlashAttention IO优化、Radix前缀缓存以及长上下文推理前沿方向。
投稿
微信公众账号
微信扫一扫加关注
顶部