Apache Airflow工作流编排与容错实践

概述Airflow 通过 DAG 描述任务依赖与调度。本文提供并发与队列、重试与回退、SLA 与告警、参数化与 XCom 的实践清单与验证方法。DAG 与依赖（已验证）明确任务边界与 `set_upstream/downstream`；使用 `TriggerRule` 控制分支与汇合行为。并发与队列`max_active_runs` 与任务级并发限制；队列与优先级控制资源使用。重试与回退指数退避重试；失败回退与补偿任务；SLA 与告警任务与 DAG 级 SLA；告警渠道（Email/Slack）与抑制策略。参数与 XCom使用 `params` 与 `Variable` 注入配置；XCom 传递小型数据；大数据使用存储传参。示例（片段）with DAG('example', schedule_interval='@daily', max_active_runs=1) as dag: t1 >> t2 验证与监控指标：任务成功率、运行时长与队列等待；回归：变更前后 DAG 运行对比；常见误区使用 XCom 传大数据导致性能问题；无并发与队列限制造成资源争用；SLA 缺失无法及时告警。结语以清晰的依赖与并发控制、可靠的重试与回退、SLA 与告警，以及参数化与 XCom 的合理使用，Airflow 可在复杂编排场景稳定运行。