在Airflow中,可以使用Python可调用函数来定义可重用的任务。下面是一个示例解决方法:
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
def my_task_function():
# 执行任务的代码
print("Hello, Airflow!")
dag = DAG(
'my_dag',
description='A simple DAG',
schedule_interval=None,
start_date=datetime(2021, 1, 1)
)
task1 = PythonOperator(
task_id='my_task',
python_callable=my_task_function,
dag=dag
)
在这个例子中,我们创建了一个名为my_dag
的DAG,并定义了一个名为my_task
的任务。my_task_function
函数被指定为任务的可调用函数。
airflow backfill my_dag -s 2021-01-01 -e 2021-01-01
这将触发DAG中的任务运行,并执行my_task_function
函数中的代码。
这是一个简单的示例,您可以根据自己的需求编写更复杂的Python函数,并使用PythonOperator将其与任务关联起来。