Kafka事务与Exactly-Once处理实践

概述目标：在生产与消费链路避免重复与丢失，通过事务、幂等性与读已提交语义实现端到端Exactly-Once。适用：订单创建、支付状态更新、日志处理聚合、下游数据库写入等对一致性敏感的流程。核心与实战生产者配置（幂等与事务）：bootstrap.servers=broker1:9092,broker2:9092 enable.idempotence=true acks=all max.in.flight.requests.per.connection=1 retries=10 transactional.id=orders-tx-processor-1 事务生产伪代码：producer.initTransactions(); try { producer.beginTransaction(); producer.send(recordA); producer.send(recordB); // 写入事务性输出主题 producer.commitTransaction(); } catch (e) { producer.abortTransaction(); } 消费者语义（读已提交）：isolation.level=read_committed enable.auto.commit=false Kafka Streams Exactly-Once：processing.guarantee=exactly_once_v2 commit.interval.ms=100 示例创建主题与ISR确保一致性：kafka-topics.sh --create --topic orders --partitions 6 --replication-factor 3 --bootstrap-server broker1:9092 kafka-configs.sh --alter --entity-type topics --entity-name orders --add-config min.insync.replicas=2 --bootstrap-server broker1:9092 验证读已提交：kafka-console-consumer.sh --topic orders --bootstrap-server broker1:9092 --from-beginning --property print.key=true --isolation-level read_committed 事务状态监控：kafka-transactions.sh --bootstrap-server broker1:9092 --list --state all 验证与监控观测重复与丢失：开启消费端去重统计，确保在`read_committed`下无未提交消息；生产端错误率与重试次数，确保在`acks=all`与`min.insync.replicas`下无不可恢复错误。Broker与客户端指标：`MessagesInPerSec`、`UnderReplicatedPartitions`、`UncleanLeaderElections`为重点观察。客户端`record-send-rate`与`record-error-rate`。常见误区生产者未设置`transactional.id`或`enable.idempotence`导致仍有重复；需同时启用并限制`max.in.flight.requests.per.connection`。消费者使用`isolation.level=read_uncommitted`读到未提交消息，破坏一致性；必须设为`read_committed`。主题`min.insync.replicas`过低在故障时可能接受不安全写；应与`acks=all`配合设为≥2。结语通过Kafka事务与幂等性、读已提交语义和ISR保障，可实现端到端Exactly-Once，是金融与订单场景的关键能力。