AirFlow backfill和catchup - 它有什么用处?
在AirFlow中,回补(backfill)和赶上(catchup)是非常有用的功能,可以帮助我们填补以前未运行的任务并将其与以前运行的任务同步。回补是指运行以前未运行的任务,而赶上是指将以前未运行的任务与最新的代码和依赖项同步。
对于回补,我们可以使用以下命令:
airflow backfill dag_id -s start_date -e end_date
这将在指定日期范围内运行指定的DAG,如果以前没有启动。
对于赶上,我们可以使用以下命令:
airflow catchup dag_id
这将运行所有以前未运行的任务,并将它们与最新的代码和依赖项同步。
以下是示例代码:
回补:
airflow backfill example_dag -s 2020-01-01 -e 2020-01-31
赶上:
airflow catchup example_dag