边缘AI推理优化：从模型压缩到端侧部署的工程实践
深度解析边缘AI推理优化的全流程：从模型压缩（量化、剪枝、蒸馏）到推理引擎（ONNX Runtime、TensorRT、OpenVINO），再到端侧部署的工程实践。
模型量化
边缘端模型推理优化：量化与张量分解的协同加速实战
深度解析边缘设备上大型AI模型推理加速的协同优化策略。从模型量化（GPTQ/AWQ/SmoothQuant）到张量分解（SVD/Tucker/CP），再到硬件感知编译优化，全面覆盖端侧推理的技术栈与实践要点。
LLM推理加速深度实战：从KV Cache到推测解码、Paged解码与量化的系统工程
深度拆解大模型推理优化的四大核心方向：PagedAttention显存管理、Speculative Decoding加速自回归解码、AWQ/GPTQ量化压缩、以及Continuous Batching调度策略，附实测数据对比和工程选型指南。
NVIDIA NVFP4 与 Micro-Scaling：Blackwell 推理 4-bit 浮点精度的深度工程实战
系统拆解 NVIDIA Blackwell 第五代 Tensor Core 原生支持的 NVFP4（E2M1 4-bit 浮点）与 Micro-Scaling 两级缩放格式：从位级定义、缩放数学、离群点校准（旋转变换/重要性矩阵）、Scaled GEMM 内核实现，到混合精度分层策略与生产部署陷阱清单，给出在显存与带宽受限的推理集群上把单卡吞吐推向极限的工程方法。
模型量化与稀疏化的深度工程实践：从 GPTQ 到 SparseGPT 的演进之路
当 Llama-3 以 405B 参数的体量横扫 MMLU 榜单时，推理吞吐依然是制约业务落地的最大瓶颈。本文从工程实践角度，系统梳理从 GPTQ 到 SparseGPT 的技术路线、实现细节与落地取舍
大语言模型推理部署实战：从KV Cache优化到分离式架构的深度解析
深入解析LLM推理部署核心技术，涵盖模型量化（GPTQ/AWQ）、vLLM PagedAttention、TensorRT-LLM与SGLang框架对比、生产级高并发架构设计、Prefill-Decode分离式推理等前沿方案，附性能基准数据与实战优化策略。
GGUF 量化格式与 llama.cpp 推理引擎的工程化实现
深度剖析GGUF二进制格式设计与llama.cpp推理引擎的工程实现，涵盖四代量化策略演进（Q4_0→Q5_K_M→Q2_K→IQ系列）、GGML后端抽象层、多GPU Split模式、SIMD微架构优化，以及vLLM对比定位分析。
模型量化实战：从 AWQ/GPTQ 到 NVIDIA FP8 推理的工程部署与性能调优
深度剖析大语言模型推理中的量化技术路线，从 GPTQ、AWQ、SmoothQuant 到 NVIDIA 硬件级 FP8 推理，结合 vLLM 与 TensorRT-LLM 实战部署，给出一套完整的工程方案。
大语言模型推理优化技术全景：从KV Cache到分布式并行实战
深入解析大语言模型推理优化技术体系：KV Cache与PagedAttention显存压缩、GPTQ/AWQ/SmoothQuant量化方案对比、投机采样与Medusa无损加速、张量/流水线/序列并行分布式策略，附选型建议与未来趋势
LLM推理优化与部署实战：从vLLM到TensorRT-LLM的生产级性能调优指南
从vLLM到TensorRT-LLM，深入讲解LLM推理优化的核心技术：PagedAttention、Continuous Batching、投机解码、量化加速。包含Docker/K8s部署方案、性能基准对比与生产级监控配置。
