Kafka事务与Exactly-Once:生产/消费端一致性治理概览幂等生产与事务 API 保证写入去重与跨主题原子性;消费者在 `read_committed` 下只读已提交记录。流处理需处理失败与重试,保持状态与输出一致。技术参数(已验证)幂等生产:`enable.idempotence=true`;保证重复发送不产生重复记录。事务:设置 `transactional.id`;使用 `beginTransaction`/`sendOffsetsToTransaction`/`commitTransaction`;支持跨主题原子写与提交偏移。消费隔离:`isolation.level=read_committed`;避免读取未提交或已中止事务记录。Kafka Streams:内置 EOS;配置 `processing.guarantee=exactly_once_v2`;状态存储与校验点保证恢复。错误与回滚:在失败时 `abortTransaction` 并重试;监控事务超时与冲突。实战清单为关键管道启用幂等与事务;在消费端使用 `read_committed`。建立死信与重试队列;在恢复路径上保证幂等与排序。对状态存储进行备份与监控;记录延迟与失败事件以审计。

发表评论 取消回复