架构与中间件

Kafka 事务与端到端一致性(2025)

Kafka 事务与端到端一致性(2025)端到端一致性需要在生产、消费与持久化之间协同保障。一、幂等生产与事务幂等生产:避免重复消息;配置生产者幂等与重试。事务:将多个写入合并为原子操作,保障一致性。二、Exactly-once (EOS)EOS:在流处理与下游写入之间实现 Exactly-once

Kafka Streams 拓扑设计与交付一致性(2025)

Kafka Streams 拓扑设计与交付一致性(2025)一、拓扑与分区拓扑设计:按业务模块拆分子拓扑,减少耦合。重分区:在键变更时进行重分区,保证均衡与有序。二、状态与一致性状态存储: RocksDB 本地状态与压缩策略。Exactly-once:事务与偏移一致性保障端到端。三、容错与观测容错:

状态存储治理(2025)

Kafka Streams Exactly-Once 与事务/状态存储治理(2025)一、EOS 与事务配置:启用 `processing.guarantee=exactly_once_v2`;设置事务超时与隔离级别。幂等:生产端使用幂等写;避免重复提交。事务边界:按拓扑节点划分事务;失败回滚与重试