系统内核

大模型分布式训练并行与显存工程实战:从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路

沿真实工程决策链拆解大模型分布式训练:先算清混合精度 AdamW 的 16 字节/参数显存账本,再区分 DP/TP/PP 三种并行各自解决的维度,深入 ZeRO 三级分片与 FSDP FlatParameter 编排(含 70B 在 64 卡上的单卡显存实测表),给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱,最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。

Unison 内容寻址语言深度工程实战:从哈希寻址的代码库、无构建增量编译到代数效应与分布式执行

拆解 Unison 的内容寻址模型:语义哈希如何取代文件路径与模块名,为何能做到无构建增量类型检查,structural/unique 两档哈希类型的演化取舍,为何任意闭包可安全跨节点序列化,以及 Abilities 代数效应如何把副作用钉进类型签名,最后给出工程代价与选型建议。