Airflow：在任务运行时未显示日志
- 首先，确保在Airflow配置文件中开启了日志记录功能。
在airflow.cfg文件中，确保以下内容被设置为True：
[core] ... dag_default_view = tree enable_xcom_pickling = True load_examples = False logging_config_class = log_config.LOGGING_CONFIG parallelism = 32 dag_concurrency = ${ENV_DAG_CONCURRENCY:-16} max_active_runs_per_dag = 16 parallelism_backend = ${PARALLELISM_BACKEND:celery} executor = CeleryExecutor ... [webserver] ... enable_proxy_fix = True expose_config = True protocol = http workers = 16 enable_xframe = True web_server_host = 0.0.0.0 web_server_port = ${WEB_PORT:-8080} ... [logging] ... logging_level = INFO logging_config_class = log_config.LOGGING_CONFIG dags_folder = /usr/local/airflow/dags ...
- 然后，在Airflow UI中查看任务日志的正确位置。
在Airflow UI的“任务视图”中单击任务后，您应该看到以下列出的日志位置之一：
- 行：行输出由任务的stdout/stderr发送
- Task Log：以 JSON 格式输出记录的文件夹路径和文件glob。默认是 /usr/local/airflow/logs/{{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log
- Metadata：最後一個到browsers的log條目。通常只包含日志信息的摘要。
- Logs：对应于执行的进程的操作系统日志。例如，在Docker容器中的操作系统日志。
-
如果在正确的位置中查找不到日志，则可以尝试重新启动Airflow Web服务。有时它会有助于刷新日志记录功能。
-
如果您正在使用自定义操作符并且没有正确配置日志记录，则可能会出现此问题。
请确保在自定义操作符类的init函数中正确设置logging：
import logging