模型部署
ONNX Runtime 推理引擎深度工程实战：从图优化、算子融合到执行提供器与内存规划的全链路解析
沿 ONNX Runtime 的真实执行链路拆解推理引擎内核：Session 初始化时的 Graph Transformer 图改写与三级优化、算子融合收益的真实来源、执行提供器如何做图分区以及跨 EP 拷贝的代价、静态内存规划如何用生命周期区间复用显存、IOBinding 零拷贝的适用边界，并给出生产落地清单与常见故障模式。
边缘智能新范式：TinyML 与边缘 AI 推理引擎的架构设计与工程实践
深入剖析边缘AI推理引擎的完整工程化路径：从TinyML基础概念到微控制器上的模型部署，涵盖INT8/FP16量化压缩、算子级优化、内存约束下的图编译策略、CMSIS-NN与Ethos-U NPU加速推理，并通过CIFAR-10分类器与关键词唤醒实战展示端到端推理流水线
渐进式模型热更新：基于 CUDA IPC 与权重原子交换的 LLM 零停机部署工程实践
探讨如何利用 CUDA IPC 显存共享和双缓冲原子交换实现 LLM 推理服务的零停机模型更新。包含 C++ RAII 封装、VersionedTensor 引用计数、多 GPU 零拷贝同步等实现细节，以及基于 vLLM 的改造实践和自动回滚机制。
