LLM 推理的 KV Cache 三级存储架构：GPU HBM → CPU DRAM → NVMe SSD 的近乎零拷贝实践
深入拆解单节点内跨越GPU HBM、CPU DRAM、NVMe SSD的三级KV Cache存储体系，涵盖CUDA异步传输、GPUDirect Storage直写、分层淘汰策略、以及生产环境中的NUMA拓扑陷阱与水位线振荡等工程细节。
推理引擎
大模型推理引擎核心技术：PagedAttention、Continuous Batching与SGLang的深度剖析
从零深入剖析LLM推理引擎核心技术：记忆分页管理PagedAttention如何消除KV Cache的内存碎片、Continuous Batching如何消除GPU空闲等待、推测解码如何实现推理加速。全面对比vLLM与SGLang两大开源推理框架的架构差异与性能表现，涵盖直觉解释、工程细节到分布式部署最佳实践。
边缘智能新范式：TinyML 与边缘 AI 推理引擎的架构设计与工程实践
深入剖析边缘AI推理引擎的完整工程化路径：从TinyML基础概念到微控制器上的模型部署，涵盖INT8/FP16量化压缩、算子级优化、内存约束下的图编译策略、CMSIS-NN与Ethos-U NPU加速推理，并通过CIFAR-10分类器与关键词唤醒实战展示端到端推理流水线
多模型协同推理架构：请求编排引擎与异构调度深度工程
深入解析多模型协同推理的核心工程挑战，涵盖异构调度、请求编排引擎设计、跨模型缓存机制与实际生产优化。从DAG建模到Work Stealing，从放置策略到实战案例。
Agent双模架构与混合执行工程：从单一体到共生智能协同的系统化构建
随着AI Agent从单一功能体向复杂生态系统演进，双模架构正成为构建下一代智能系统的核心范式。本文从工程角度系统阐述Agent双模架构与混合执行的技术原理与设计原则。
LLM 推理确定性工程深度实战：从浮点非结合性、Batch 不变性到可复现 Kernel 的全链路解法
拆解 LLM 推理不确定性的三个根因——浮点加法非结合性、split-k 与浮点 atomicAdd 的非确定累积、Continuous Batching 导致的 batch invariance 破缺；给出 PyTorch 复现脚本、Triton batch-invariant kernel、CUB 确定性归约与 CUBLAS_WORKSPACE_CONFIG 配置要点，分析 RL 后训练 on-policy 偏差与合规审计场景，量化 15%-30% 的性能代价并给出生产落地检查清单。
LLM 推理引擎架构演进：PagedAttention、Continuous Batching 与 vLLM/SGLang 深度工程
深度解析现代 LLM 推理引擎 PagedAttention 和 Continuous Batching 两大核心技术，结合 vLLM 与 SGLang 工程案例，完整拆解 KV Cache 内存管理、Iteration-Level 调度、RadixAttention 缓存复用的底层原理与生产最佳实践。
ONNX Runtime 推理引擎深度工程实战：从图优化、算子融合到执行提供器与内存规划的全链路解析
沿 ONNX Runtime 的真实执行链路拆解推理引擎内核：Session 初始化时的 Graph Transformer 图改写与三级优化、算子融合收益的真实来源、执行提供器如何做图分区以及跨 EP 拷贝的代价、静态内存规划如何用生命周期区间复用显存、IOBinding 零拷贝的适用边界，并给出生产落地清单与常见故障模式。
本地LLM推理引擎深度对比：llama.cpp、Ollama、vLLM、LocalAI架构解析与性能优化
全面剖析四款主流本地LLM推理引擎的架构差异：llama.cpp（CPU加GGUF量化）、Ollama（全封装桌面流）、vLLM（GPU高吞吐服务化）、LocalAI（OpenAI兼容API），涵盖推理内核、量化策略、并发模型与性能优化实践。
LLM 推理引擎内部原理：PagedAttention、Continuous Batching 与现代推理架构剖析
深入剖析现代 LLM 推理引擎的核心机制——PagedAttention 内存管理和 Continuous Batching 调度策略，揭示 vLLM 如何将吞吐量提升 2-4 倍
