模型量化 - 叶斌兵

深度解析边缘设备上大型AI模型推理加速的协同优化策略。从模型量化（GPTQ/AWQ/SmoothQuant）到张量分解（SVD/Tucker/CP），再到硬件感知编译优化，全面覆盖端侧推理的技术栈与实践要点。

推理部署 2026年10月15日 0 点赞 0 评论 19 浏览

深度拆解大模型推理优化的四大核心方向：PagedAttention显存管理、Speculative Decoding加速自回归解码、AWQ/GPTQ量化压缩、以及Continuous Batching调度策略，附实测数据对比和工程选型指南。

推理部署 2026年10月17日 0 点赞 0 评论 21 浏览

深入解析大语言模型推理优化技术体系：KV Cache与PagedAttention显存压缩、GPTQ/AWQ/SmoothQuant量化方案对比、投机采样与Medusa无损加速、张量/流水线/序列并行分布式策略，附选型建议与未来趋势

大语言模型 2026年10月28日 0 点赞 0 评论 59 浏览

模型量化

首页

模型量化