LoRA微调实战：从零实现参数高效微调
深入解析 LoRA（Low-Rank Adaptation）的数学原理与工程实践。涵盖核心直觉、架构设计、从零实现、训练流程、QLoRA量化微调、多任务管理、DoRA改进版，以及常见问题排查与调优指南。附完整 PyTorch 代码示例，帮助读者在消费级显卡上高效微调大语言模型。
PyTorch
GPU 显存碎片化深度实战：从 Buddy 分配器、expandable_segments 到碎片率治理与 CUDA OOM 修复
每一个在 A100/H100 上跑过大模型训练或长上下文推理的工程师，大概率都见过这样一个让人抓狂的报错：
PyTorch 2.x torch.compile 与 Inductor 后端深度工程：从 FX Graph 到 Triton kernel 的 AI 推理全栈优化
深入拆解 PyTorch 2.x torch.compile 的完整技术栈——从 TorchDynamo 的 Python 字节码拦截到 Inductor 的 Triton kernel 代码生成，结合生产级推理部署经验，给出可落地的工程指南。
反向传播算法深度实战：从链式法则到现代深度学习引擎
从微积分链式法则出发，详解反向传播算法的数学原理与工程实现，涵盖PyTorch autograd引擎、梯度消失/爆炸解决方案、混合精度训练、Feedback Alignment与Z-Prop等现代变体，附完整NumPy实现。
Rust-PyTorch 零拷贝张量桥接与异步推理管线工程实战
深入剖析通过Rust FFI桥接PyTorch C++后端实现零拷贝张量传递与异步推理管线的工程方案，包含混合调度器设计、CUDA上下文管理、eBPF延迟追踪等实战经验，以及与Triton Inference Server的性能对比数据。
用消费级游戏GPU搭建AI训练集群：从硬件选型到分布式训练的完全实战
完整记录从零搭建4卡RTX 4090 AI训练节点的全过程，涵盖硬件选型、散热设计、NCCL通信优化、PyTorch分布式训练配置，以及实际跑通LLaMA-3 70B QLoRA微调的经验，包含完整的代码示例和性能基准测试数据。
PyTorch 2 torch.compile 深度工程实战：Dynamo 追踪与 Inductor 后端优化全链路剖析
本文从编译器工程视角，完整拆解 Dynamo 的前端追踪机制、Graph Capture 中的 Graph Break 处理策略、以及 Inductor 后端的 lowering 与 Triton kernel 生成路径，结合生产环境性能调优实战，帮助工程师理解编译管线的每一层细节。
PyTorch 2.0 Compiler 深度剖析：从 TorchDynamo FX Graph 到 TorchInductor Triton CodeGen 的完全工程指南
PyTorch 2.0 Compiler 深度剖析：从 TorchDynamo Python 字节码拦截、FX Graph 中间表示捕获、AOTAutograd 自动微分分解、TorchInductor Triton CodeGen GPU 内核代码生成、算子融合与内存优化、CUDA Graph 捕获、动态形状支持、分布式并行编译、到生产级部署与性能基准测试的完整工程指南。
分布式大模型训练 Checkpoint 工程——TB 级状态的高效保存、恢复与容错存储系统设计
深入剖析分布式大模型训练中 Checkpoint 系统的工程实现——从分片保存、异步重叠、分层存储到恢复精度验证，覆盖万亿参数模型 TB 级状态的高效保存与恢复全流程。
Triton GPU编程语言深度实战：从矩阵乘法到Flash Attention、内核融合与AI编译器优化的完全工程指南
Triton是由OpenAI开发的开源GPU编程语言，提供类似Python的高级语法同时达到接近手写CUDA的性能。本文深入讲解Triton的编程模型、矩阵乘法优化、Flash Attention实现、内核融合技术以及在PyTorch生产环境中的最佳实践。
