可以使用KubernetesPodOperator操作符来配置Airflow任务以在Kubernetes上运行。该操作符创建一个Kubernetes Pod,其中包含执行任务所需的所有容器。这样,在该Pod上运行的任务进程将持续运行直到任务完成或Pod被删除。
以下是一个使用KubernetesPodOperator创建任务的示例代码:
from airflow import DAG
from airflow.contrib.operators.kubernetes_pod_operator import KubernetesPodOperator
from datetime import datetime
dag = DAG(
dag_id='example_kubernetes_pod_operator',
schedule_interval=None,
start_date=datetime(2021, 1, 1)
)
kubernetes_task = KubernetesPodOperator(
task_id='example_kubernetes_pod_task',
name='example_kubernetes_pod',
namespace='default',
image='ubuntu:latest',
cmds=['python', '-c'],
arguments=['print("Hello, World!")'],
dag=dag
)
在这个例子中,使用KubernetesPodOperator创建了一个名为“example_kubernetes_pod_task”的任务,它使用Ubuntu镜像来运行Python代码打印一条消息。这个任务将在Kubernetes上运行,并在完成后自动删除创建的Pod。
上一篇:Airflow任务ID未找到