Debezium CDC 数据变更捕获（Kafka Connect、事务边界与幂等）

概述

Debezium 基于数据库事务日志捕获变更事件。合理配置连接器与主题分发可实现高可靠的数据同步与集成。

关键实践与参数

• 连接器配置：设置 include.schema.changes=true、tombstones.on.delete=true；按库/表白名单。
• 事务边界：开启事务标记以保证事件顺序；消费者按事务批次处理。
• 幂等与去重：使用 event_id（LSN + 表主键）与窗口去重；重复事件不影响投影。

验证方法

• 比较源库与下游主题事件数量与顺序；回放检验一致性。
• 压测高并发写入下的延迟与抖动；观察消费者 lag。
• 故障演练：断电与恢复后事件是否连续且无丢失。

注意事项

• 变更过滤与敏感字段脱敏；遵循合规。
• 大事务与批量操作可能产生事件风暴；设置限速与分区策略。
• 连接器与数据库版本兼容性需验证。