在Airflow DAG中指定任务的重试策略时,需要注意以下几点:
from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
default_args = {
'owner': 'airflow',
'start_date': datetime(2021, 1, 1),
'retry_delay': timedelta(minutes=5),
'retries': 3,
'max_retry_delay': timedelta(minutes=30)
}
def my_task():
# some code here
return
with DAG('my_dag', default_args=default_args, schedule_interval='@daily') as dag:
task1 = PythonOperator(
task_id='my_task',
python_callable=my_task
)
通过以上示例,可以定制Airflow任务的重试策略,确保任务可以在指定的时间内成功完成。