在Airflow中安装依赖通常有两种方法,分别是使用pip安装和使用requirements.txt文件。
可以使用Airflow内置的pip工具进行安装。可以在DAG代码中直接使用该方法,如下所示:
from airflow.operators.python_operator import BashOperator
pip_command = 'pip install requests'
install_dependencies = BashOperator(
task_id='install_dependencies',
bash_command=pip_command,
dag=dag
)
可以在DAG文件夹中创建一个名为requirements.txt的文件,将依赖项列在其中,使用以下命令安装:
pip install -r requirements.txt
如果使用Docker,则可以将requirements.txt文件复制到Docker容器中,并使用以下命令安装:
RUN pip install -r requirements.txt
例如,在Dockerfile文件中:
FROM python:3.7-slim-stretch
COPY ./requirements.txt /usr/local/airflow/requirements.txt
WORKDIR /usr/local/airflow
RUN pip install -r requirements.txt
CMD ["airflow", "webserver"]
这两种方法都可以在Airflow中安装依赖。根据情况选择使用其中的一种或同时使用。