数据仓库建模与ETL性能优化实践

概述合理的数据模型与存储策略是查询与 ETL 性能的关键。本文给出星型/雪花模型选择、分区分桶与列式压缩策略，并提供调度与质量校验方法。建模（已验证）星型模型：事实表与维表清晰，查询性能友好；雪花模型：维表进一步拆分，适合高复用维度但查询略复杂；维度键与缓慢变化维（SCD）：SCD2 保留历史版本，SCD1 覆盖更新。存储与分布分区：按时间/范围分区，提升裁剪与扫描效率；分桶：按高基数维度分桶，改善连接与聚合；列式与压缩：Parquet/ORC + ZSTD/Snappy；统计信息配合查询优化。ETL 性能批量与流式：区分批处理与近实时；并行与容错：合理设置并行度与重试；预计算与汇总：生成聚合快照降低在线查询成本。质量与调度校验：重复键、空值占比、分布异常与行计数；调度：基于 DAG 的依赖与失败重试；元数据与血缘：记录来源、转换与去向；示例（片段）-- 分区 + 列式示例（以 Hive/Spark 为例） CREATE TABLE sales ( order_id STRING, user_id STRING, amount DOUBLE, ts TIMESTAMP ) PARTITIONED BY (dt DATE) STORED AS PARQUET; 验证与监控查询耗时与 P95/P99；扫描数据量与分区命中率；ETL 成功率与重试次数；质量指标告警；常见误区无分区导致全表扫描；未维护统计信息与血缘，难以优化与回溯；模型过度复杂化，查询与维护成本高。结语以清晰的模型与合理的存储分布为基础，结合 ETL 性能与质量校验，数据仓库可在规模增长下保持可查询与可维护。