Rust 实现 LLM 推理引擎深度工程实战：从 Flash Attention 内核到 Continuous Batching
深入拆解如何用 Rust 从零构建 LLM 推理引擎：Flash Attention V2 内核的 SIMD 与 Online Softmax 分块优化、PagedKVCache 的 Copy-on-Write 内存管理、连续批处理调度器的迭代级调度策略。
LLM推理
ARM SME 矩阵扩展：LLM 推理底层算子的深度工程实践
从 ARMv9.2-A 指令集到 Apple M4 与 Ampere Altra 的实矩阵乘法加速路径。深度剖析 SME 的 ZA 存储模型、FMOPA 外积指令、BF16 GEMM 实现、Attention Score 算子优化，以及 llama.cpp 集成实战与性能调优数据。
RWKV-6：当 RNN 学会遗忘——线性注意力与 WKV 核的工程实现
从指数衰减到CUDA kernel，详解如何用 O(1) 内存完成百万 token 的生成式推理。深入RWKV-6的WKV递推机制、通道独立衰减的RNN改造、量化部署与工业级陷阱。
大语言模型推理部署实战：从 vLLM 到量化加速与 KV Cache 优化
系统性解析LLM推理部署核心技术栈，涵盖vLLM的PagedAttention与Continuous Batching、TensorRT-LLM部署、GPTQ/AWQ/GGUF量化加速、KV Cache优化策略、投机解码及生产环境最佳实践
模型量化实战：从 AWQ/GPTQ 到 NVIDIA FP8 推理的工程部署与性能调优
深度剖析大语言模型推理中的量化技术路线，从 GPTQ、AWQ、SmoothQuant 到 NVIDIA 硬件级 FP8 推理，结合 vLLM 与 TensorRT-LLM 实战部署，给出一套完整的工程方案。
GGUF 量化格式与 llama.cpp 推理引擎的工程化实现
深度剖析GGUF二进制格式设计与llama.cpp推理引擎的工程实现，涵盖四代量化策略演进（Q4_0→Q5_K_M→Q2_K→IQ系列）、GGML后端抽象层、多GPU Split模式、SIMD微架构优化，以及vLLM对比定位分析。
模型量化与稀疏化的深度工程实践：从 GPTQ 到 SparseGPT 的演进之路
当 Llama-3 以 405B 参数的体量横扫 MMLU 榜单时，推理吞吐依然是制约业务落地的最大瓶颈。本文从工程实践角度，系统梳理从 GPTQ 到 SparseGPT 的技术路线、实现细节与落地取舍
大语言模型推理部署实战：从KV Cache优化到分离式架构的深度解析
深入解析LLM推理部署核心技术，涵盖模型量化（GPTQ/AWQ）、vLLM PagedAttention、TensorRT-LLM与SGLang框架对比、生产级高并发架构设计、Prefill-Decode分离式推理等前沿方案，附性能基准数据与实战优化策略。
大语言模型推理部署优化：从KV Cache到张量并行的工程实践
深入探讨LLM推理部署中的核心优化技术，包括KV Cache管理、张量并行、量化压缩和批处理策略
LLM 推理的 KV Cache 三级存储架构：GPU HBM → CPU DRAM → NVMe SSD 的近乎零拷贝实践
深入拆解单节点内跨越GPU HBM、CPU DRAM、NVMe SSD的三级KV Cache存储体系，涵盖CUDA异步传输、GPUDirect Storage直写、分层淘汰策略、以及生产环境中的NUMA拓扑陷阱与水位线振荡等工程细节。
