在Airflow DAG中,可以使用BitShiftCompositionOperator操作符(>>)来表示任务之间的依赖关系。长行代码会让DAG定义看起来很混乱。因此,可以使用Python的反斜杠(\)来分解长行代码,使其更易于阅读。
例如:
from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime
default_args = { 'owner': 'airflow', 'start_date': datetime(2021, 1, 1), 'retries': 1 }
with DAG('example_dag', default_args=default_args, schedule_interval='@daily') as dag: task1 = BashOperator( task_id='task1', bash_command='echo "Task 1 is running"' )
task2 = BashOperator(
task_id='task2',
bash_command='echo "Task 2 is running"'
)
task3 = BashOperator(
task_id='task3',
bash_command='echo "Task 3 is running"'
)
task1 >> task2 \
>> task3
在上面的代码中,使用反斜杠来分解长行代码,使DAG定义易于读取。