Kafka压缩与批量：吞吐与延迟权衡

概览

压缩与批量能显著提升吞吐，但会增加单条延迟与 CPU。需结合业务指标与硬件进行调优。

技术参数（已验证）

• 压缩：snappy/lz4/zstd 提供不同压缩比与 CPU 开销；端到端需生产与消费端支持。
• 批量：生产端批量与服务端合并提升吞吐，但会增加等待时间。
• 网络/存储：压缩降低带宽与磁盘占用；需监控 CPU 与延迟分布。

实战清单

• 对日志流启用压缩与较大批量；对低延迟通道降低批量与压缩级别。
• 基于压测调整参数，避免过度优化导致尾延迟上升。