LLM推理加速深度实战:从KV Cache到推测解码、Paged解码与量化的系统工程 深度拆解大模型推理优化的四大核心方向:PagedAttention显存管理、Speculative Decoding加速自回归解码、AWQ/GPTQ量化压缩、以及Continuous Batching调度策略,附实测数据对比和工程选型指南。 推理部署 2026年10月17日 0 点赞 0 评论 21 浏览
边缘端模型推理优化:量化与张量分解的协同加速实战 深度解析边缘设备上大型AI模型推理加速的协同优化策略。从模型量化(GPTQ/AWQ/SmoothQuant)到张量分解(SVD/Tucker/CP),再到硬件感知编译优化,全面覆盖端侧推理的技术栈与实践要点。 推理部署 2026年10月15日 0 点赞 0 评论 19 浏览
边缘AI推理优化:从模型压缩到端侧部署的工程实践 深度解析边缘AI推理优化的全流程:从模型压缩(量化、剪枝、蒸馏)到推理引擎(ONNX Runtime、TensorRT、OpenVINO),再到端侧部署的工程实践。 内存管理 2026年09月25日 0 点赞 0 评论 12 浏览