MoE 专家并行深潜：从 All-to-All 通信瓶颈到 DeepEP 的工程突围
从 MoE 层的两次 All-to-All 出发量化分析专家并行的通信瓶颈，解析路由负载均衡、capacity 截断、EP 与 TP 的适用性差异，以及 DeepEP 的双域 buffer、纯 RDMA 低延迟 kernel 与通信计算重叠设计，并给出生产环境落地 checklist。
投稿
微信公众账号
微信扫一扫加关注
顶部