在airflow.cfg文件中,确保以下内容被设置为True:
[core] ... dag_default_view = tree enable_xcom_pickling = True load_examples = False logging_config_class = log_config.LOGGING_CONFIG parallelism = 32 dag_concurrency = ${ENV_DAG_CONCURRENCY:-16} max_active_runs_per_dag = 16 parallelism_backend = ${PARALLELISM_BACKEND:celery} executor = CeleryExecutor ... [webserver] ... enable_proxy_fix = True expose_config = True protocol = http workers = 16 enable_xframe = True web_server_host = 0.0.0.0 web_server_port = ${WEB_PORT:-8080} ... [logging] ... logging_level = INFO logging_config_class = log_config.LOGGING_CONFIG dags_folder = /usr/local/airflow/dags ...
在Airflow UI的“任务视图”中单击任务后,您应该看到以下列出的日志位置之一:
如果在正确的位置中查找不到日志,则可以尝试重新启动Airflow Web服务。有时它会有助于刷新日志记录功能。
如果您正在使用自定义操作符并且没有正确配置日志记录,则可能会出现此问题。
请确保在自定义操作符类的init函数中正确设置logging:
import logging