Apache Airflow使用调度器(Scheduler)在指定时间运行DAG。调度器会定期检查每个DAG的调度日期和时间,确定是否要运行该DAG。如果需要运行,则会在可用的执行器(Executor)上启动一个DAG运行作业。
以下是一个DAG定义的示例,其中设置了调度时间:
from datetime import timedelta
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago
default_args = {
'owner': 'abc',
'depends_on_past': False,
'start_date': days_ago(0),
'retries': 1,
'retry_delay': timedelta(minutes=5),
}
dag = DAG(
'my_dag',
default_args=default_args,
description='My first DAG',
schedule_interval=timedelta(days=1),
)
t1 = BashOperator(
task_id='task_1',
bash_command='echo "Hello World!"',
dag=dag,
)
在上述代码中,DAG名称为“my_dag”,默认参数设置为“default_args”,并且每天调度一次(schedule_interval=timedelta(days=1))。运行任务是通过“BashOperator”操作符实现的,任务名称为“task_1”,并且在执行dag变量时指定了DAG。
DAG和任务定义后,可以使用以下命令启动Apache Airflow Web服务器和调度器(在不同的终端中运行):
$ airflow webserver -p 8080
$ airflow scheduler
在Web浏览器中访问“localhost:8080”,现在就可以看到“my_dag”在调度器的界面中。调度器每天都会在早上凌晨1点启动该DAG。如果想要更改调度时间,只需将“timedelta(days=1)”更改为其他日期时间间隔即可。