Zero-ETL架构：CDC流式入湖与维表关联

Zero-ETL架构：CDC流式入湖与维表关联概览用变更数据捕获（CDC）直接将数据库变更流式写入数据湖，减少批量导入与中间落地。结合流处理引擎完成清洗、去重与维表关联，实现近实时指标与服务化数据产品。技术参数（已验证）CDC 来源：基于 WAL/二进制日志（如 Debezium）；支持快照 + 增量两阶段捕获。入湖格式：Iceberg/Delta/Hudi 支持事务与 Schema 演进；适合流式写入与查询优化。维表关联：流与维表通过键关联与时态语义；需处理迟到数据与水位（watermark）。一次性语义：利用幂等写入或事务性 sink 保证 Exactly-Once；在重复投递时通过主键/版本去重。元数据治理：统一主题命名、Schema 注册与兼容策略；记录血缘与质量指标以供审计。实战清单选择支持事务与演进的湖格式；统一数据契约与主题/字段命名规则。在流处理中实现迟到与乱序治理；为关键指标设置 SLO 与告警。构建端到端可观测：从源头到 sink 的延迟、吞吐与失败事件均需监控。