Airflow在使用MSSQL作为后端数据库时可能会出现死锁问题,可能与MSSQL的锁机制有关。为解决此问题,建议将锁的超时时间增加到较高的值。以下是一个可能的
打开Airflow的配置文件 airflow.cfg
找到并修改以下配置项,将锁超时时间增加到较高的值(例如3600秒):
sqlalchemy.engine_options.pool_timeout = 3600
如果以上方法不能解决问题,建议尝试将后端数据库更换为PostgreSQL等其他数据库来解决此问题。
上一篇:Airflow在使用EMRAddStep时,当HadoopJarStep参数具有以.json结尾的参数时无法添加EMR步骤。
下一篇:Airflow在同一个DAG中以不同的时间运行任务?