大模型分布式训练并行与显存工程实战:从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路 沿真实工程决策链拆解大模型分布式训练:先算清混合精度 AdamW 的 16 字节/参数显存账本,再区分 DP/TP/PP 三种并行各自解决的维度,深入 ZeRO 三级分片与 FSDP FlatParameter 编排(含 70B 在 64 卡上的单卡显存实测表) 分布式系统 2026年10月06日 0 点赞 0 评论 66 浏览
Zstandard 压缩引擎深度工程实战:从 FSE 有限状态熵编码、ANS 状态机到字典训练与流式 API 的全链路解析 沿真实工程链路拆开 Zstandard:先讲清 LZ77+Huffman+FSE 三段流水线各自解决哪个维度的冗余,再用一个实测跑通(300 组随机模糊测试零失败)的 64 位 rANS 最小实现,量化 ANS 相比 Huffman 在倾斜分布上最高 88 倍的压缩率优势 工程实践 2026年10月06日 0 点赞 0 评论 70 浏览