这个问题可能是由于 Python 的垃圾回收机制所引起,可以通过在 airflow.cfg
中设置 parallelism
参数来解决。
在 airflow.cfg
文件中,找到并编辑以下行:
executor = LocalExecutor
parallelism = 32
dag_concurrency = 16
将 parallelism
的值增加到 64 或更高,然后重启 Airflow 守护进程。
此外,您可以尝试在任务中添加以下代码来禁用 Python 的垃圾回收机制:
import gc
gc.disable()
这个方法尽管可能不推荐,但也可能会解决这个问题。