可以通过安装 Dataproc 提供的 Google Cloud 的 Python 客户端库,以便在 Airflow DAG 中使用 DataprocClusterCreateOperator。并且,Airflow 2.0 及以上版本支持 DataprocClusterCreateOperator。
示例代码如下:
from airflow.contrib.operators.dataproc_operator import DataprocClusterCreateOperator
from airflow.models import DAG
from datetime import datetime
default_args = {
'owner': 'airflow',
'start_date': datetime(2019, 1, 1),
}
dag = DAG('dataproc_cluster_create', default_args=default_args)
create_cluster = DataprocClusterCreateOperator(
task_id='dataproc_cluster_create',
cluster_name='test-cluster',
project_id='my-project',
num_workers=2,
region='us-central1',
dag=dag
)
上一篇:Airflow2.0问题:Airflowsupervisor任务太多。
下一篇:Airflow2.0中KubernetesPod出现CrashLoopBackoff故障,即使退出代码为0也是如此。