可能是由于未在Airflow配置中设置正确的日志存储路径或由于与worker的通信问题而导致的。可以通过以下步骤解决该问题:
[core] ... remote_log_conn_id = MY_REMOTE_CONN # optional identifier used to access remote logs remote_log_endpoint = /some/remote/path # remote endpoint that will receive the log file (e.g. your NFS mount point or HDFS path)
检查worker与主机是否正确通信,确保worker能够正常提供所需的日志信息。
如果仍然无法解决问题,可以尝试手动获取日志文件。例如:
airflow logs --task_id my_task --dag_id my_dag --execution_date 2020-04-01T00:00:00+00:00 --output /path/to/local/logfile.log
SELECT * FROM log WHERE dag_id = 'my_dag' AND task_id = 'my_task' AND execution_date = '2020-04-01T00:00:00+00:00' AND dag_id IS NOT NULL AND task_id IS NOT NULL ORDER BY dttm DESC LIMIT 10;
这将返回最近的10条与该任务相关的日志记录。