大模型量化与推理系统架构演进:从GPTQ精确校准到PagedAttention内存管理的全链路优化 大模型量化与推理系统架构演进:从GPTQ精确校准到PagedAttention内存管理的全链路优化,全面解析LLM推理加速的核心技术与工程实现。 模型微调 2026年09月20日 0 点赞 0 评论 116 浏览
DeepSeek 模型显存量化与消费级 GPU 部署工程实践 从工程实践层面,深入剖析如何在有限消费级 GPU 显存上通过 GGUF 量化、KV Cache 压缩和投机解码实现 DeepSeek 系列模型的高效本地部署 服务器运维 2026年10月02日 0 点赞 0 评论 84 浏览
大模型推理加速实战:KV Cache、PagedAttention、FP8量化与投机解码全面解析 深入解析LLM推理加速四大核心技术:KV Cache、PagedAttention、FP8量化、投机解码,含SGLang/vLLM实战部署与横评。 推理部署 2026年10月28日 0 点赞 0 评论 66 浏览
边缘端模型推理优化:量化与张量分解的协同加速实战 深度解析边缘设备上大型AI模型推理加速的协同优化策略。从模型量化(GPTQ/AWQ/SmoothQuant)到张量分解(SVD/Tucker/CP),再到硬件感知编译优化,全面覆盖端侧推理的技术栈与实践要点。 推理部署 2026年10月15日 0 点赞 0 评论 20 浏览