ETL编排选型：Airflow与Dagster对比

概览

编排平台为数据管道提供任务依赖与调度执行。Airflow 成熟稳定，Dagster 强调类型与可观察性。

技术参数（已验证）

• DAG：任务图定义依赖与执行顺序，支持重试与失败处理。
• 调度：基于时间/事件的触发与并发控制，支持回填与队列。
• 类型/观测：Dagster 提供类型系统与资产观测，便于治理与测试。

实战清单

• 批处理与复杂生态优先 Airflow；类型与资产治理优先 Dagster。
• 建立数据质量检查与告警闭环。