要在Apache Airflow中创建一个多用户环境,可以使用以下步骤:
安装Apache Airflow和相关依赖项:
pip install apache-airflow
初始化Airflow数据库:
airflow initdb
创建一个用户:
airflow create_user \
--username \
--firstname \
--lastname \
--role Admin \
--email \
--password
启动Airflow Web服务器:
airflow webserver
启动Airflow调度程序:
airflow scheduler
现在,您可以通过访问Airflow Web UI(默认端口为8080)来访问多用户环境。
下面是一个示例代码,使用多用户环境创建和运行一个简单的DAG(有向无环图):
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime
default_args = {
'owner': 'airflow',
'start_date': datetime(2022, 1, 1),
}
dag = DAG(
'multi_user_dag',
default_args=default_args,
schedule_interval='@daily',
)
task1 = BashOperator(
task_id='task1',
bash_command='echo "Task 1"',
dag=dag,
)
task2 = BashOperator(
task_id='task2',
bash_command='echo "Task 2"',
dag=dag,
)
task1 >> task2
您可以将上述代码保存为一个Python文件(例如multi_user_dag.py),然后使用以下命令将其放置在Airflow的DAG目录中:
cp multi_user_dag.py /path/to/airflow/dags/
然后,您可以通过Airflow Web UI运行此DAG并查看其状态和输出。
注意:以上代码示例假定您已经在Airflow中配置了数据库和用户。还可以根据需要添加其他任务和操作符。
上一篇:Apache Airflow DAG在运行后没有成功。
下一篇:Apache Airflow GoogleCloudStorageToBigQueryOperator - time_partitioning 运算符