在 Airflow DAG 中定义的默认参数 default_args
中,有一个 provide_context
的参数,当该参数为 True 时,Airflow 会将 ds
和 **kwargs
传入 PythonOperator 的执行函数中。
在 PythonOperator 的执行函数中,ds
表示当前执行的日期,是一个字符串类型的参数;而 **kwargs
则包含 Airflow 运行传递的所有参数,如 task_instance 等,是一个字典类型的参数。因此可以根据需要,自行选择使用这两个参数。
示例代码:
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime
def my_function(ds, **kwargs):
print(f'Today is {ds}')
print(kwargs)
dag = DAG(
dag_id='my_dag',
default_args={
'owner': 'airflow',
'depends_on_past': False,
'start_date': datetime(2021, 1, 1),
'provide_context': True
},
schedule_interval='@daily'
)
t1 = PythonOperator(
task_id='print_ds_and_kwargs',
python_callable=my_function,
dag=dag
)