大模型推理量化技术深度剖析:GPTQ/AWQ/GGUF与KV Cache工程优化 深入解析大模型推理中的量化技术:GPTQ基于Hessian矩阵的量化优化、AWQ激活感知权重量化、GGUF混合精度格式与llama.cpp生态、以及KV Cache的PagedAttention优化策略 大语言模型 2026年09月21日 0 点赞 0 评论 3 浏览
LLM推理优化深度指南:vLLM PagedAttention与Kubernetes分布式部署实战 深入解析大语言模型推理优化的核心技术与vLLM引擎架构原理,涵盖PagedAttention显存管理、AWQ/GPTQ量化、张量并行与流水线并行策略。 大语言模型 2026年09月20日 0 点赞 0 评论 1 浏览
LLM推理优化关键技术:KV Cache、推测解码与量化压缩深度解析 深入分析大语言模型推理优化三大方向:内存管理(PagedAttention、GQA/MLA)、生成加速(Speculative Decoding、Medusa)、模型量化(GPTQ/AWQ/FP8),以及系统级优化Continuous Batching和Prefill-Decode分离部署。 大语言模型 2026年09月21日 0 点赞 0 评论 1 浏览