Kafka Topic 保留与压缩策略配置指南
常用参数
cleanup.policy=delete|compact|delete,compactretention.ms=604800000(7 天)segment.bytes=1073741824(1 GiB)min.cleanable.dirty.ratio=0.5
创建或更新主题
## 创建日志型主题(按时间删除)
kafka-topics --bootstrap-server localhost:9092 --create --topic logs --partitions 6 --replication-factor 3 --config cleanup.policy=delete --config retention.ms=604800000
## 为状态型主题启用压缩
kafka-configs --bootstrap-server localhost:9092 --alter --topic state --add-config cleanup.policy=compact --add-config min.cleanable.dirty.ratio=0.5
验证
kafka-configs --bootstrap-server localhost:9092 --describe --topic state
总结
日志型主题用 delete 保留,状态主题用 compact 去重;合理设置保留与段大小可提升存储与清理效率。

发表评论 取消回复