模型量化实战:从 AWQ/GPTQ 到 NVIDIA FP8 推理的工程部署与性能调优 深度剖析大语言模型推理中的量化技术路线,从 GPTQ、AWQ、SmoothQuant 到 NVIDIA 硬件级 FP8 推理,结合 vLLM 与 TensorRT-LLM 实战部署,给出一套完整的工程方案。 服务器运维 2026年10月07日 0 点赞 0 评论 39 浏览
LLM推理引擎深度架构与2026优化全景:从PagedAttention到MoE混合专家并行 vLLM架构深度拆解:PagedAttention实现KV内存零浪费;Continuous Batching革命性吞吐量提升;Multi-Step Scheduling流水线重叠;TensorRT-LLM与vLLM双引擎对比;MoE混合专家并行三策略;Tensor/Pipeline/Expert并行四子群;Speculative Decoding推测解码;KV Cache量化压缩;Disaggregated Prefix Caching分离式Prefill架构;2026推理部署最佳实践全景 推理部署 2026年10月19日 0 点赞 0 评论 6 浏览