最近版本的Airflow引入了新的CLI工具airflow tasks test命令,用于在调试系统中测试任务。该命令按照提供的DAG ID、任务ID和日志日期一次性测试单个任务。可以使用该命令测试任务并进行排查。
示例代码:
假设我们有一个名为my_dag的DAG,并且我们想测试它的task1。那么,我们可以使用以下命令进行测试:
airflow tasks test my_dag task1 2021-01-01
这将在2021年1月1日的日志中运行名为task1的任务。在这个过程中,如果有任何错误或异常,我们可以使用Airflow日志进行排查。