概述

MirrorMaker 2(MM2)基于 Kafka Connect,把源集群的主题、消费组与配置复制到目标集群,常用于异地容灾、多活与迁移。本文给出其架构、配置与运维要点。

架构与核心概念

  • 以 Connect Worker 运行 SourceConnector / SinkConnector 任务;
  • 复制单元为 源集群->目标集群 的 replication flow;
  • 目标主题默认命名为 <源集群别名>.<原主题>;
  • offset 同步依赖 offset-syncs 主题与检查点。

关键配置

  • source.cluster.alias / target.cluster.alias:集群别名;
  • topics / groups:白名单或正则过滤;
  • replication.policy.class:默认 DefaultReplicationPolicy,可自定义分隔符;
  • sync.topic.offsets.enabled:开启消费位点同步,支撑故障切换。

clusters = primary, standby
primary.bootstrap.servers = pkc-1:9092
standby.bootstrap.servers = skc-1:9092
primary->standby.topics = orders-.*, payments-.*
primary->standby.groups = billing-.*
replication.policy.separator = .
sync.topic.offsets.enabled = true

部署模式

  • active-passive:单向复制,备集群只读,切换时提升为主;
  • active-active:双向复制,需处理环路(replication.policy 区分方向)与冲突;
  • 跨地域部署时,优先用 rack / client.rack 控制副本落点。

延迟与一致性

  • 端到端延迟由复制吞吐决定,关注 replication-latency-ms;
  • 开启 offset 同步后,切换消费者可续读,但要注意位点与目标数据的时序;
  • 监控 byte-rate、record-age-ms、checkpoint-latency。

常见误区

  • 双向复制未做环路防护,消息无限回放;
  • 目标主题保留策略过短,历史数据被清理;
  • 未同步消费组位点,切换后重复消费;
  • 把 MM2 当强一致方案,忽略复制延迟窗口。

结语

以别名与复制策略规范命名,以 offset 同步支撑切换,以延迟与位点指标驱动运维,MirrorMaker 2 可以在多集群之间提供稳定、可观测的复制链路。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部