分布式系统

大模型语料去重工程实战:从 MinHash-LSH 的概率曲线到 10TB 语料流水线

拆解预训练语料去重的三层漏斗:归一化精确去重、MinHash-LSH 近重复召回、embedding 语义兜底。从 MinHash 的无偏估计性质与 1-(1-s^r)^b 分带概率曲线出发,给出签名、分桶、候选复核与连通分量的可运行代码,并总结倾斜桶、阈值拍脑袋、去重后分布偏斜等生产级坑点与验收清单。

Apache Hudi 深度工程实战:从 Timeline MVCC、记录级索引到 MOR/COW 的湖仓 Upsert 引擎全解

拆解 Apache Hudi 的三层工程内核:Timeline 时间线 MVCC 的快照与增量语义、File Group/File Slice 的物理布局、记录级索引(Bloom/Bucket/Record Index)的代价模型;对比 COW 与 MOR 的取舍边界,给出 Compaction/Clustering/Cleaner 表服务节奏、OCC 多写入端冲突治理与七个生产踩坑清单。

Elasticsearch 深度实战:从倒排索引原理到分布式搜索集群生产级部署与性能优化的完全工程指南

深入解析 Apache Lucene 倒排索引原理(FST 词典、跳表加速、BM25)、三段式文本分析与中文分词优化、分布式一致性 Raft 协议、写入路径(Refresh/Translog/Flush)工程、Query-Then-Fetch 查询协议、分片策略与再平衡、Hot-Warm-Cold 分层存储、HSNW 向量搜索、快照恢复全流程、生产环境容量规划与故障排查方法论

Apache Kafka 深度实战:从 Producer/Consumer 到 KRaft、流处理与生产级调优的完全工程指南

深入解析 Apache Kafka 架构设计:从 Partition 复制机制、Producer 幂等性与事务语义、Consumer Group Rebalance 协议,到日志分段存储、零拷贝优化、KRaft 元数据管理、Kafka Streams 流处理,以及生产级容量规划与内核调优参数。对比 Pulsar 与 RocketMQ 选型策略。