CDC 变更数据捕获与异构同步实践（2025）
# CDC 变更数据捕获与异构同步实践（2025）
CDC 将数据库的变更事件化，支持跨系统的低延迟同步与审计。
## 一、捕获与来源
- binlog/redo：从数据库日志捕获变更（如 MySQL binlog）。
- 表级变更：配置过滤与白名单，控制事件体量。
## 二、管道与传输
- 事件总线：以 Kafka 等传输与缓冲变更事件。
- 模式与兼容：保持模式与类型一致性，避免解析错误
数据库技术
ClickHouse 性能优化（MergeTree、分区与索引、TTL 与聚合）
基于 MergeTree 家族的存储引擎，优化分区与主键、索引与 TTL，提升分析查询性能并提供可验证方法。
ClickHouse 物化视图刷新与数据一致性（Aggregating 与 TTL 验证）
使用物化视图对明细数据进行预聚合并在目标表启用TTL与后台合并，保证查询性能与数据一致性，提供度量与验证方法。
ClickHouse 表引擎与排序键分区优化实战
基于 MergeTree 的分区与排序键设计，提供建表与查询优化示例以提升读写与聚合性能。
Debezium CDC 与 Outbox 模式（可靠事件与验证）
使用Debezium进行数据库变更捕获并结合Outbox表发布可靠事件，降低双写与一致性风险，提供连接器配置与端到端验证方法。
Debezium CDC与Kafka入湖实践
使用Debezium从数据库捕获变更并写入Kafka，提供可验证的连接器配置与主题治理方法，支撑入湖与实时处理。
Elasticsearch Ingest Pipeline：预处理、Grok与错误通道治理
使用 Ingest Pipeline 在写入路径进行预处理与抽取，规范 Grok 模式与错误通道，提升数据质量与查询效果。
Flyway/Liquibase数据库迁移版本化与回滚实践
使用 Flyway/Liquibase 管理数据库迁移，实施版本化与校验、回滚与变更日志、CI/CD 集成与环境差异治理，并提供验证方法。
PostgreSQL INCLUDE索引与Index Only Scan实践
利用 `INCLUDE` 扩展覆盖索引列，提升索引仅扫描性能，并理解可见性地图对收益的影响。
PostgreSQL 事件触发与异步队列集成（Event Trigger、LISTEN/NOTIFY 与验证）
使用事件触发与LISTEN/NOTIFY集成异步处理与审计，捕获DDL/DML事件并投递到队列或工作进程，提供实现与验证方法。
PostgreSQL 生成列(Generated Columns)与表达式索引实践
使用生成列简化派生字段并结合索引优化查询，减少冗余计算与提升性能。
