分布式系统

大模型语料去重工程实战:从 MinHash-LSH 的概率曲线到 10TB 语料流水线

拆解预训练语料去重的三层漏斗:归一化精确去重、MinHash-LSH 近重复召回、embedding 语义兜底。从 MinHash 的无偏估计性质与 1-(1-s^r)^b 分带概率曲线出发,给出签名、分桶、候选复核与连通分量的可运行代码,并总结倾斜桶、阈值拍脑袋、去重后分布偏斜等生产级坑点与验收清单。

Apache Kafka 深度实战:从 Producer/Consumer 到 KRaft、流处理与生产级调优的完全工程指南

深入解析 Apache Kafka 架构设计:从 Partition 复制机制、Producer 幂等性与事务语义、Consumer Group Rebalance 协议,到日志分段存储、零拷贝优化、KRaft 元数据管理、Kafka Streams 流处理,以及生产级容量规划与内核调优参数。对比 Pulsar 与 RocketMQ 选型策略。

LLM 推理 Disaggregated Architecture:Prefill-Decode 分离架构深度实战

随着大模型推理规模从单机走向多机,Prefill与Decode阶段的计算特征差异成为系统瓶颈的根本原因。本文深入剖解NVIDIA Dynamo、Mooncake等工业界Disaggregated Inference架构的设计哲学,涵盖KV Cache传输优化、分布式调度算法、负载均衡策略,并结合真实生产环境数据给出工程实践指南。