使用Celery Executor解决该问题。具体为修改airflow.cfg中executor属性为CeleryExecutor,然后启动Celery worker。代码示例为:
修改airflow.cfg中executor属性: [core] executor = CeleryExecutor
启动Celery worker: celery worker -A airflow.executors.celery_executor -c 1 -q airflow
此外,还需要在Kubernetes集群中启动CeleryExecutor所需的Redis容器,具体操作可参考Airflow官方文档。
上一篇:AirflowKubernetesDAG创建了Pod,但排队后停止运行。
下一篇:AirflowKubernetesOperator出错:`无效的连接配置。选项kube_config_path、kube_config、in_cluster互斥。`