Kafka日志压缩与保留策略治理

概览

• cleanup.policy=compact 保留每个键的最新记录；delete 基于时间/大小保留；可组合使用。
• 正确的键与删除标记治理确保压缩准确与空间可控。

技术参数（已验证）

• 压缩：启用 compact；使用键唯一标识；删除标记（tombstone）实现键删除；观察 compaction 延迟。
• 保留：retention.ms/bytes 与 segment.ms/bytes 控制分段与保留；避免过小段导致开销。
• 组合：cleanup.policy=compact,delete 同时启用；适合快照与历史。
• 生产与消费：幂等生产与正确偏移管理；消费者在压缩后读取最新值。
• 观测：记录段与压缩进度、滞后与空间；告警异常。

实战清单

• 为键值主题启用压缩并设计删除标记；设定合理保留与分段参数。
• 在变更前压测与验证；监控压缩与空间指标。
• 对关键主题维护文档与台账；避免误配置。