分布式大模型训练 Checkpoint 工程——TB 级状态的高效保存、恢复与容错存储系统设计 深入剖析分布式大模型训练中 Checkpoint 系统的工程实现——从分片保存、异步重叠、分层存储到恢复精度验证,覆盖万亿参数模型 TB 级状态的高效保存与恢复全流程。 分布式系统 2026年10月04日 0 点赞 0 评论 126 浏览
从零构建生产级 RLHF 训练管线:PPO、DPO 与 REINFORCE 的算法实现与工程实践 深入解析 RLHF 训练管线的核心算法与工程实践,涵盖 Reward Model 训练、PPO 实现、DPO 推导、RLOO 基线优化及分布式训练方案 算法与数据结构 2026年10月04日 0 点赞 0 评论 127 浏览
ZFS 深度学习:从 Copy-on-Write 事务模型到生产级部署的 CoW 文件系统实践 ZFS深度学习:全面剖析Copy-on-Write事务模型、存储池架构、ARC自适应替换缓存、ZIL/SLOG加速机制、快照与克隆、RAID-Z冗余策略、透明压缩与去重,以及数据库和容器场景的生产部署最佳实践 深度学习 2026年10月04日 0 点赞 0 评论 105 浏览
OCaml 5 多核运行时深度工程实战:从 Domain/Fiber 与 Effect Handler、无读屏障内存模型到并发 Major GC 沿 OCaml 5 运行时链路逐层拆解:Domain/Fiber 两级并发、无读屏障的 DRF-SC 内存模型与写屏障、per-domain minor heap 与 STW 小收集、major heap 并发标记与备份线程、tagged int 与扁平 float array 的值表示 系统编程 2026年10月04日 0 点赞 0 评论 112 浏览
用消费级游戏GPU搭建AI训练集群:从硬件选型到分布式训练的完全实战 完整记录从零搭建4卡RTX 4090 AI训练节点的全过程,涵盖硬件选型、散热设计、NCCL通信优化、PyTorch分布式训练配置,以及实际跑通LLaMA-3 70B QLoRA微调的经验,包含完整的代码示例和性能基准测试数据。 分布式系统 2026年10月04日 0 点赞 0 评论 84 浏览
ZNS SSD 的 io_uring uring_cmd 直通实战:AI 训练日志零拷贝存储引擎 深入解析 NVMe ZNS 顺序写入模型,使用 io_uring uring_cmd 接口在用户态直接管理 Zone 存储。涵盖 NVMe uring_cmd SQE 封装、registered buffers 零拷贝、Zone 生命周期回收,以及与 SPDK/f2fs 的性能对比实测。 文件系统 2026年10月04日 0 点赞 0 评论 92 浏览
Linux 内核 Memcg v2 + io_uring:AI 训练数据加载管线中的内存压力感知异步 I/O 探索Linux内核memcg v2的PSI内存压力信号如何与io_uring提交队列协同,实现AI训练数据加载中内存感知的流量控制,从根源消除OOM。 文件系统 2026年10月04日 0 点赞 0 评论 64 浏览
Linux内核sched_ext BPF调度器实战——AI训练与推理服务混部场景下的自定义调度策略 深入解析Linux 6.12引入的sched_ext BPF调度器框架,通过完整代码示例展示如何为AI训练与推理混部场景开发生产级自定义调度器,包含vtime加权、NUMA感知放置、时间片差异化等核心机制,并附有双路EPYC 9654 4×H100基准测试数据。 eBPF技术 2026年10月05日 0 点赞 0 评论 73 浏览
CPU-GPU 异构统一虚拟内存系统:AI 大规模训练的核心基础设施 深入解析 CPU-GPU 统一虚拟内存系统(CUDA Unified Memory + Linux HMM)的工作原理与实战优化,涵盖 page fault 机制、CUDA VMM API、GPUDirect RDMA/Storage、分页模型参数存储 操作系统 2026年10月05日 0 点赞 0 评论 71 浏览
大模型分布式训练并行与显存工程实战:从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路 沿真实工程决策链拆解大模型分布式训练:先算清混合精度 AdamW 的 16 字节/参数显存账本,再区分 DP/TP/PP 三种并行各自解决的维度,深入 ZeRO 三级分片与 FSDP FlatParameter 编排(含 70B 在 64 卡上的单卡显存实测表) 分布式系统 2026年10月06日 0 点赞 0 评论 67 浏览