CUDA

1. 首页
2. CUDA

FlashAttention 算法深度解析：从 IO-Aware 优化到 GPU 硬件极致

FlashAttention 通过 IO-Aware 的 Tiling + Recomputation 策略，将 Self-Attention 的 HBM 访问复杂度从 O(N²) 降至 O(N²/d)，在不牺牲数学精度的前提下实现 2-4× 端到端训练加速。本文深入推导 Online Softmax 数学基础、解析 FlashAttention/2/3 三代算法演进、剖析 Hopper/Tensor Core 适配优化，并给出一套完整的工程性能分析框架。

GPU并行计算 2026年10月09日 0 点赞 0 评论 42 浏览

GPU 并行计算深度实战：从 CUDA 核心编程到内存层次的全栈优化

从GPU硬件微架构出发系统梳理CUDA编程核心抽象、内存层次优化策略以及性能调优方法论，覆盖SIMT模型、合并访问、Bank Conflict、Register Tiling、Tensor Core编程、Roofline分析等主题。

GPU并行计算 2026年10月11日 0 点赞 0 评论 40 浏览

LLM推理部署实战：vLLM与TGI深度对比与工程实践

深度对比vLLM与TGI两大LLM推理框架，涵盖PagedAttention内存管理、Continuous Batching、性能基准测试、Docker化部署、高可用架构设计与生产监控最佳实践。

推理部署 2026年10月12日 0 点赞 0 评论 46 浏览

Mamba 状态空间模型：从理论到生产级推理的 CUDA 内核优化实战

深入解析Mamba状态空间模型的核心原理与生产级推理部署：从选择性机制的数学基础，到Scan算法的硬件感知设计，再到CUDA/Triton内核优化实战。涵盖Mamba2的SSD理论、状态缓存优化、投机解码兼容性，以及在百万token长序列场景下的性能基准。

推理部署 2026年10月02日 0 点赞 0 评论 86 浏览

GPU计算着色器与线程组执行模型深度解析：从SIMT波前调度到共享内存库冲突优化的GPU并行计算架构

从硬件视角解析GPU SIMT执行模型、线程层级、共享内存Bank冲突优化及内存合并访问策略。

GPU并行计算 2026年09月21日 0 点赞 0 评论 67 浏览

CUDA Warp 编程深度实战：从 Bank Conflict 到 Tensor Core 极限优化

深入NVIDIA GPU Warp级并行机制，从Bank Conflict原理到Tensor Core极限优化，涵盖Shared Memory架构、Warp分支发散、FP16矩阵乘实战案例及NSight Compute性能分析

GPU并行计算 2026年09月29日 0 点赞 0 评论 89 浏览

GPU计算生态深度实战：从CUDA到异构计算的编程模型与工程实践

从GPU硬件架构出发，深入剖析CUDA编程模型的底层原理，探讨内存层次优化、线程调度机制，并对比分析HIP、SYCL等开放生态替代方案，介绍基于CXL和池化的GPU资源调度前沿实践。

GPU并行计算 2026年09月30日 0 点赞 0 评论 69 浏览

推理引擎的编译优化：从计算图到高效执行

深入解析现代推理引擎的编译优化技术：计算图IR、算子融合策略、常量折叠、静态内存规划、CUDA Graph捕获和调度并行，涵盖TensorRT-LLM、vLLM、llama.cpp等主流引擎的编译实践。

编译原理 2026年09月30日 0 点赞 0 评论 83 浏览

vLLM 核心工程深度剖析：PagedAttention 与 KV Cache 调度如何重塑 LLM 推理基础设施

从操作系统内存管理思想切入，深度剖析vLLM PagedAttention核心机制：逻辑块/物理块分离、块表间接寻址、CoW并行采样、前缀缓存哈希索引，以及生产部署调优指南（含与SGLang RadixAttention对比）。

推理部署 2026年09月30日 0 点赞 0 评论 103 浏览

Rust + CUDA IPC：多 GPU 间零拷贝张量通信工程实战

大规模 AI 模型训练与推理离不开多 GPU 协作。本文深入讲解 CUDA IPC 机制如何实现在同一节点内多 GPU 间零拷贝张量传递，并通过 Rust FFI 绑定给出完整工程实现，覆盖内存共享模型、事件同步、NVLink 拓扑感知、错误处理与 NCCL 集成。

GPU并行计算 2026年09月30日 0 点赞 0 评论 114 浏览