Linux Kernel KSM:多租户 AI 推理集群的 KV Cache 内存去重与 NUMA 调优深度工程实践 深入分析 Linux KSM 内核实现机制与数据结构,结合多租户 AI 推理场景下的 KV Cache 共享需求,提供完整的 KSM 生产调优方案:双树扫描算法、NUMA-aware 配置、容器化部署、安全侧信道考量。 内存管理 2026年10月05日 0 点赞 0 评论 93 浏览
AI 推理中的 GPU 显存压力与 OOM 工程缓解策略:从 PagedAttention 到 KV Cache 压缩、Offloading 与请求准入控制 深入分析 AI 推理服务中 GPU 显存 OOM 的根因与工程缓解策略,涵盖 PagedAttention 分页管理、FP8 KV Cache 量化、CPU Offloading 交换、自适应请求准入控制以及生产级分级降级方案,附完整代码示例与配置基准。 推理部署 2026年10月06日 0 点赞 0 评论 108 浏览
LLM 推理解耦架构:Prefill-Decode 分离的生产级吞吐工程实践 深入分析 LLM 生产中 Prefill-Decode 阶段的计算特征差异导致的资源冲突问题,系统阐述 Disaggregated Inference 架构的拓扑设计、KV Cache 传输协议实现,并给出 Prefill Worker、Decode Worker、传输引擎和智能调度器的完整生产级代码实现。 推理部署 2026年10月06日 0 点赞 0 评论 118 浏览
Confidential AI Inference 工程实战——从 TEE 硬件信任根到端到端加密推理流水线 深入剖析机密AI推理完整技术栈:从Intel TDX/AMD SEV-SNP硬件信任根、NVIDIA H100 GPU机密计算模式、远程证明协议,到端到端加密推理流水线的工程实现,附带K8s部署清单、性能基准实测数据(15-33%开销)与生产级排错手册。 密码学 2026年10月04日 0 点赞 0 评论 168 浏览