压缩

压缩与模式演进治理(2025)

Kafka Connect S3 Sink 分区/压缩与模式演进治理(2025)一、分区与命名分区:按时间/主题/分区生成层级;支持查询按需加载。命名:统一文件名与路径;避免碎片与小文件。二、压缩与格式压缩:使用 `gzip/zstd`;平衡 CPU 与存储成本。格式:Avro/Parquet/JS

Kafka 保留与压缩策略治理(2025)

Kafka 保留与压缩策略治理(2025)Kafka 的保留与压缩配置影响成本与查询与一致性,需要按业务治理。一、保留与分段retention.ms:控制时间保留与容量规划。segment.bytes:设定分段大小,平衡文件数量与恢复时长。二、压缩与键cleanup.policy:`delete`