kafka
Kafka 架构与消费组最佳实践（2025）
Kafka 架构与消费组最佳实践（2025）Kafka 以分区与副本实现高吞吐与扩展性。本文聚焦消费组、重平衡与幂等处理的工程要点。一、分区与副本分区：提升并行度；按键路由保证同键有序。副本与 ISR：副本同步与故障容忍，提升可用性。二、消费组与重平衡消费组：以组为单位进行分区分配与并行消费。重平衡
Kafka事务与Exactly-Once：生产/消费端一致性治理
通过幂等生产与事务语义实现端到端一次性处理，规范消费者隔离与处理拓扑的错误恢复。
Kafka消费者重平衡与分配策略：Sticky/Range/RoundRobin
理解消费者组的重平衡机制与三种分配策略的差异，优化分区分配与稳定性。
Kafka 主题保留与压缩策略（Retention、Compaction 与验证）
配置Kafka主题的时间/大小保留策略与日志压缩，按业务键保留最新值并降低存储成本，提供参数示例与端到端验证方法。
Kafka Connect SMT：数据清洗与标准化
使用 Kafka Connect 的 SMT 在管道中进行字段重命名、过滤与规范化，降低下游适配成本。
Kafka Streams状态存储与RocksDB调优
掌握 Kafka Streams 的状态存储与恢复机制，调优 RocksDB/缓存与日志，提升稳定性与延迟表现。
Kafka Schema Registry与兼容策略实践
使用Schema Registry治理消息模式并设置兼容策略，提供可验证的API与CLI示例，保障演进稳定与下游兼容。
Kafka生产者参数调优：acks/linger/batch/compression
调优生产者的确认与批量与压缩参数，平衡吞吐与延迟与可靠性，提升写入效率与稳定性。
