在Airflow中,可以使用set_downstream()
方法为操作符列表设置下游。
下面是一个示例代码,演示了如何使用set_downstream()
方法为操作符列表设置下游:
from airflow import DAG
from airflow.operators.dummy_operator import DummyOperator
# 定义DAG
dag = DAG('example_dag', schedule_interval='@once')
# 创建操作符列表
op1 = DummyOperator(task_id='op1', dag=dag)
op2 = DummyOperator(task_id='op2', dag=dag)
op3 = DummyOperator(task_id='op3', dag=dag)
op4 = DummyOperator(task_id='op4', dag=dag)
# 使用set_downstream()方法设置下游
op1.set_downstream([op2, op3])
op2.set_downstream(op4)
op3.set_downstream(op4)
在上面的示例中,我们创建了四个DummyOperator操作符,并将它们添加到DAG中。然后,我们使用set_downstream()
方法为操作符op1设置了op2和op3作为下游,以及为操作符op2和op3设置了op4作为下游。
这样,当DAG运行时,op1将作为第一个任务运行,然后op2和op3将作为第二个任务并行运行,最后op4将作为第三个任务运行。
请注意,set_downstream()
方法接受一个操作符列表作为参数,可以通过传递单个操作符或操作符列表来设置下游任务。