在Airflow中,元数据数据库用于存储任务调度的相关信息。默认情况下,元数据数据库是使用SQLite进行存储的,但在生产环境中通常会使用更强大的数据库,如MySQL或PostgreSQL。
以下是使用MySQL作为Airflow元数据数据库的示例代码:
pip install mysql-connector-python
创建MySQL数据库并授予Airflow用户访问权限。
修改Airflow配置文件(airflow.cfg)中的元数据配置:
# airflow.cfg
# 使用MySQL数据库
sql_alchemy_conn = mysql+mysqlconnector://:@:/
替换
,
,
,
和
为实际的MySQL连接信息。
airflow initdb
这将创建Airflow所需的表和初始数据。
airflow webserver -p 8080
airflow scheduler
现在,Airflow将使用MySQL作为元数据数据库。
注意:如果要使用PostgreSQL作为元数据数据库,步骤类似,只需将MySQL相关配置改为PostgreSQL。