该警告意味着在使用SQLite作为Airflow元数据库的情况下,不应该将解析进程数设置为2。可以通过在Airflow配置文件中为SQLite设置合适的并发连接数来解决此问题。
在Airflow配置文件(airflow.cfg)中,将以下注释行的值更改为所需的值:
#sql_alchemy_pool_size = 5
#sql_alchemy_pool_recycle = 1800
将上述值更改为:
sql_alchemy_pool_size = 20
sql_alchemy_pool_recycle = 1800
这将为SQLite设置20个并发连接,以防止解析进程数过多引发警告。
上一篇:Airflow调度器对于schedule_interval为None的DAG抛出错误。
下一篇:Airflow调度器卡在警告状态-因为在使用sqlite时不能使用超过1个线程(max_threads=2)。因此,我们将parallelism设置为1。