Kafka 事务与端到端一致性（2025）
# Kafka 事务与端到端一致性（2025）端到端一致性需要在生产、消费与持久化之间协同保障。## 一、幂等生产与事务- 幂等生产：避免重复消息；配置生产者幂等与重试。- 事务：将多个写入合并为原子操作，保障一致性。## 二、Exactly-once (EOS)- EOS：在流处理与下游写入之间实现 Exactly-once。- 偏移与状态：对偏移与状态进行一致性管理。#
中间件开发
Kafka 保留与压缩策略治理（2025）
# Kafka 保留与压缩策略治理（2025）Kafka 的保留与压缩配置影响成本与查询与一致性，需要按业务治理。## 一、保留与分段- retention.ms：控制时间保留与容量规划。- segment.bytes：设定分段大小，平衡文件数量与恢复时长。## 二、压缩与键- cleanup.policy：`delete` 与 `compact` 组合策略。- log com
Kafka Topic 保留与压缩策略配置指南
配置主题的保留与压缩策略（Delete/Compact），提供命令与参数说明，保障日志与状态主题的高效管理。
Kafka 主题保留与压缩策略（Retention、Compaction 与验证）
配置Kafka主题的时间/大小保留策略与日志压缩，按业务键保留最新值并降低存储成本，提供参数示例与端到端验证方法。
Kafka Schema Registry与兼容策略实践
使用Schema Registry治理消息模式并设置兼容策略，提供可验证的API与CLI示例，保障演进稳定与下游兼容。
Kafka Streams状态存储与RocksDB调优
掌握 Kafka Streams 的状态存储与恢复机制，调优 RocksDB/缓存与日志，提升稳定性与延迟表现。
Kafka MirrorMaker 2多集群灾备与延迟治理
使用 MM2 在多集群间进行主题镜像与灾备，规范命名与拓扑、延迟与一致性治理，保障跨地域数据与消费安全。
Kafka MirrorMaker2 跨区域复制与一致性治理（2025）
# Kafka MirrorMaker2 跨区域复制与一致性治理（2025）
## 一、拓扑与链路
- 拓扑：源集群→（MirrorMaker2）→ 目标集群，多区域互备；避免环路。
- 连接器：配置 `replication.policy.class` 与心跳/检查点主题，确保位点同步。
## 二、延迟与吞吐
- 延迟（延迟）：监控复制延迟与网络 RTT；按批大小与并发调节。
- 吞吐：压缩
Kafka Schema Registry 兼容性与模式演进实践
配置全局与主题级兼容性策略，注册 Avro 模式并验证兼容性，安全演进事件结构。
Kafka Schema Registry 兼容策略与演进（Backward/Forward/Full 与验证）
配置与验证Schema Registry的兼容策略，指导Avro模式的演进与回滚，避免生产者/消费者不兼容与数据破坏。
Kafka Connect Elasticsearch Sink 连接器写入索引实践
使用 Elasticsearch Sink 连接器将 Kafka 主题写入索引，配置连接与写入模式、键处理与容错策略。
Kafka Connect S3 Sink分区与格式实践
配置Kafka Connect S3 Sink将消息落地到S3并进行分区与格式化，提供可验证的Connector配置与验证命令，支撑数仓与分析。
Kafka MirrorMaker 2多集群复制治理
基于 MM2 的 Connect 框架进行跨集群主题与偏移复制，治理命名、心跳与故障切换策略。
Kafka ACL 与多租户安全实践
使用 ACL 管理 Kafka 多租户访问权限，示例覆盖用户创建、SCRAM 认证与主题级 ACL 规则。
Elasticsearch快照与S3仓库实践
配置Elasticsearch快照仓库到S3并进行备份与恢复，提供可验证的API与策略，保障数据安全与可恢复性。
