分布式系统

万亿参数大模型推理系统架构:从显存墙到多节点部署的实战工程

深入剖析万亿参数大模型推理的系统化工程架构,涵盖TP/PP/EP/DP四维并行策略组合、KV Cache三级存储/H2O淘汰策略、MXFP4/FP8量化协同、vLLM多节点部署实战(含docker-compose配置)、PD分离架构与Ray调度层调优、关键监控指标与自适应batch调度,以及HBM4-PIM/光学互连/联邦推理等前沿方向展望。

LLM 推理 Disaggregated Architecture:Prefill-Decode 分离架构深度实战

随着大模型推理规模从单机走向多机,Prefill与Decode阶段的计算特征差异成为系统瓶颈的根本原因。本文深入剖解NVIDIA Dynamo、Mooncake等工业界Disaggregated Inference架构的设计哲学,涵盖KV Cache传输优化、分布式调度算法、负载均衡策略,并结合真实生产环境数据给出工程实践指南。

Dapr 分布式应用运行时深度实战:从 Building Block、Actor Placement 到 Resiliency 与可插拔组件模型的工程全解

拆解 Dapr 运行时骨架:Sidecar + Building Block + 可插拔 Component 的三层抽象如何解耦应用与中间件;深入 Service Invocation 六步链路、State 的 ETag 乐观并发与一致性、Pub/Sub 至少一次语义与批量投递、Actor 的 Placement 分区成员表与 Turn-based 并发、Resiliency 策略的执行位置,并给出生产环境实测坑位清单。