首先确认 Airflow 的版本是否为 1.10.11 及以上版本,这个版本已经对此问题进行了相关修复。
确认 Celery worker 是否已经启用,如果没有启用需要使用命令行启动:
airflow worker
确认 Celery worker 是否配置了正确的队列名称和结果后端,以下就是一段配置示例:
celery.conf.update(
broker_url='redis://localhost:6379/0',
result_backend='redis://localhost:6379/0',
task_default_queue='default',
task_ignore_result=False,
task_track_started=True,
)
如果仍然无法获取日志信息,可以尝试调整 Airflow 的配置选项,在 airflow.cfg 文件中配置:
[webserver]
worker_refresh_interval = 1
worker_hange_time = 5
这样可以在 Webserver 刷新页面时重新获取 Worker 的信息,避免出现日志获取不到的情况。
最后如果仍无法解决该问题,可以尝试查看 Airflow 的日志以及 Celery worker 的日志,寻找问题所在。