概述
MirrorMaker 2(MM2)基于 Kafka Connect,把源集群的主题、消费组与配置复制到目标集群,常用于异地容灾、多活与迁移。本文给出其架构、配置与运维要点。
架构与核心概念
- 以 Connect Worker 运行
SourceConnector/SinkConnector任务; - 复制单元为
源集群->目标集群的 replication flow; - 目标主题默认命名为
<源集群别名>.<原主题>; - offset 同步依赖
offset-syncs主题与检查点。
关键配置
source.cluster.alias/target.cluster.alias:集群别名;topics/groups:白名单或正则过滤;replication.policy.class:默认DefaultReplicationPolicy,可自定义分隔符;sync.topic.offsets.enabled:开启消费位点同步,支撑故障切换。
clusters = primary, standby
primary.bootstrap.servers = pkc-1:9092
standby.bootstrap.servers = skc-1:9092
primary->standby.topics = orders-.*, payments-.*
primary->standby.groups = billing-.*
replication.policy.separator = .
sync.topic.offsets.enabled = true
部署模式
- active-passive:单向复制,备集群只读,切换时提升为主;
- active-active:双向复制,需处理环路(
replication.policy区分方向)与冲突; - 跨地域部署时,优先用
rack/client.rack控制副本落点。
延迟与一致性
- 端到端延迟由复制吞吐决定,关注
replication-latency-ms; - 开启 offset 同步后,切换消费者可续读,但要注意位点与目标数据的时序;
- 监控
byte-rate、record-age-ms、checkpoint-latency。
常见误区
- 双向复制未做环路防护,消息无限回放;
- 目标主题保留策略过短,历史数据被清理;
- 未同步消费组位点,切换后重复消费;
- 把 MM2 当强一致方案,忽略复制延迟窗口。
结语
以别名与复制策略规范命名,以 offset 同步支撑切换,以延迟与位点指标驱动运维,MirrorMaker 2 可以在多集群之间提供稳定、可观测的复制链路。

发表评论 取消回复