GPU 缺页中断与 CUDA Unified Memory — 从 HMM 框架到 AI 推理大显存管理的工程实践 深入解析 GPU MMU 页表管理与 CUDA Unified Memory 的按需页迁移机制,剖析 Linux 内核 HMM 框架的设计原理与 NVIDIA UVM 驱动实现,给出在 AI 推理生产环境中利用 UM 管理超大规模显存的实战方法论。 进程调度 2026年10月07日 0 点赞 0 评论 45 浏览
FlashAttention 算法深度解析:从 IO-Aware 优化到 GPU 硬件极致 FlashAttention 通过 IO-Aware 的 Tiling + Recomputation 策略,将 Self-Attention 的 HBM 访问复杂度从 O(N²) 降至 O(N²/d),在不牺牲数学精度的前提下实现 2-4× 端到端训练加速。本文深入推导 Online Softmax 数学基础、解析 FlashAttention/2/3 三代算法演进、剖析 Hopper/Tensor Core 适配优化,并给出一套完整的工程性能分析框架。 GPU并行计算 2026年10月09日 0 点赞 0 评论 42 浏览
GPU 并行计算深度实战:从 CUDA 核心编程到内存层次的全栈优化 从GPU硬件微架构出发系统梳理CUDA编程核心抽象、内存层次优化策略以及性能调优方法论,覆盖SIMT模型、合并访问、Bank Conflict、Register Tiling、Tensor Core编程、Roofline分析等主题。 GPU并行计算 2026年10月11日 0 点赞 0 评论 40 浏览
eBPF 驱动的 AI 工作负载可观测性:GPU 运行时追踪与生产环境实战 深入探讨如何利用 eBPF 的 uprobe/USDT 机制追踪 CUDA Runtime 和 Driver API 调用,构建面向 AI 生产系统的 GPU 工作负载全栈可观测平台。包含内存生命周期追踪、Kernel Launch 调度分析、多租户隔离方案与性能调优经验。 eBPF入门 2026年10月03日 0 点赞 0 评论 39 浏览
LLM 推理的 KV Cache 三级存储架构:GPU HBM → CPU DRAM → NVMe SSD 的近乎零拷贝实践 深入拆解单节点内跨越GPU HBM、CPU DRAM、NVMe SSD的三级KV Cache存储体系,涵盖CUDA异步传输、GPUDirect Storage直写、分层淘汰策略、以及生产环境中的NUMA拓扑陷阱与水位线振荡等工程细节。 内存管理 2026年10月02日 0 点赞 0 评论 20 浏览