Airflow 的 worker 通过监听消息队列中的消息来获取要执行的任务和任务的参数。当一个任务被提交时,它会被加入到执行队列中,并且 worker 会从队列中读取任务,并执行任务。 worker 可以通过日志记录详细的执行信息,以便在出现问题时进行排查。另外,使用一些工具可以帮助你更好地跟踪 worker 的状态和问题,例如 Flower:
pip install flower
配置 Flower:
celery --app=airflow.task.task_runner.worker flower
启动 Flower:
celery flower -A airflow.task.task_runner.worker --port=5555
这将在本地的 5555 端口上启动 Flower。通过访问http://localhost:5555
可以查看 worker 的状态和任务执行情况,以便进行问题排查。