Airflow在GCP Cloud Run作业完成后不反映其状态。
创始人
2024-08-02 15:00:31
0

要解决Airflow在GCP Cloud Run作业完成后不反映其状态的问题,可以使用Cloud Run的Eventarc功能来触发状态更新。以下是一个示例的解决方法:

  1. 首先,确保你已经在GCP上设置了Airflow和Cloud Run的环境,并且已经启动了相关的作业。

  2. 在Cloud Run服务的部署文件中(例如service.yaml),添加一个新的事件触发器(event-trigger):

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: my-cloud-run-service
spec:
  template:
    spec:
      containers:
        - image: my-cloud-run-image
          env:
            - name: AIRFLOW_DAG_RUN_ID
              value: "your-dag-run-id"  # 替换为你的DAG运行ID
      # 添加事件触发器
      serviceAccountName: cloud-run-eventarc-sa
      triggers:
        - kind: event
          apiVersion: eventing.knative.dev/v1
          name: my-cloud-run-service-trigger
          filter:
            attributes:
              type: com.google.cloud.auditlog.event
              serviceName: run.googleapis.com
              methodName: google.cloud.run.v1.RevisionServingStateChanged
          sink:
            apiVersion: serving.knative.dev/v1
            kind: Service
            name: my-cloud-run-service

在上面的示例中,我们添加了一个事件触发器my-cloud-run-service-trigger,它会监听Cloud Run服务的状态更改事件google.cloud.run.v1.RevisionServingStateChanged。当Cloud Run服务的状态发生变化时,它会触发指定的服务。

  1. 创建一个新的Cloud Run服务帐号,并将其授予适当的权限:
gcloud iam service-accounts create cloud-run-eventarc-sa --display-name "Cloud Run Eventarc Service Account"
gcloud run services add-iam-policy-binding my-cloud-run-service --member="serviceAccount:cloud-run-eventarc-sa@your-project-id.iam.gserviceaccount.com" --role="roles/run.eventReceiver"

请替换your-project-id为你的项目ID,my-cloud-run-service为你的Cloud Run服务名称。

  1. 启用Eventarc API:
gcloud services enable eventarc.googleapis.com
  1. 创建一个新的Pub/Sub主题,并将其用作事件的目标:
gcloud pubsub topics create my-cloud-run-topic
  1. 使用以下命令创建一个新的事件源:
gcloud eventarc triggers create my-cloud-run-trigger \
    --destination-run-service=my-cloud-run-service \
    --destination-run-region=us-central1 \
    --event-filters="type=google.cloud.auditlog.event,serviceName=run.googleapis.com,methodName=google.cloud.run.v1.RevisionServingStateChanged" \
    --transport-topic=projects/your-project-id/topics/my-cloud-run-topic

请替换your-project-id为你的项目ID和my-cloud-run-service为你的Cloud Run服务名称。

  1. 在Airflow的DAG中,你可以使用Pub/Sub Hook来订阅事件并更新作业的状态。例如:
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from airflow.contrib.hooks import GcpPubSubHook

def update_job_status():
    pubsub_hook = GcpPubSubHook(gcp_conn_id='google_cloud_default')
    messages = pubsub_hook.pull("my-cloud-run-subscription", max_messages=1)
    if messages:
        # 处理接收到的消息并更新作业状态
        message = messages[0]
        # 更新作业状态的逻辑

with DAG('my_dag', schedule_interval='@once') as dag:
    task = PythonOperator(
        task_id='update_job_status_task',
        python_callable=update_job_status
    )

在上面的示例中,我们使用Pub/Sub Hook来订阅名为my-cloud-run-subscription的订阅。当接收到新的消息时,我们可以处理消息并更新作业的状态。

通过使用Cloud Run的Eventarc功能和Pub/Sub Hook,你可以在Cloud Run作业完成后及时地更新Airflow的作业状态。

相关内容

热门资讯

Android Studio ... 要解决Android Studio 4无法检测到Java代码,无法打开SDK管理器和设置的问题,可以...
安装tensorflow mo... 要安装tensorflow models object-detection软件包和pandas的每个...
安装了Laravelbackp... 检查是否创建了以下自定义文件并进行正确的配置config/backpack/base.phpconf...
安装了centos后会占用多少... 安装了CentOS后会占用多少内存取决于多个因素,例如安装的软件包、系统配置和运行的服务等。通常情况...
按照Laravel方式通过Pr... 在Laravel中,我们可以通过定义关系和使用查询构建器来选择模型。首先,我们需要定义Profile...
按照分类ID显示Django子... 在Django中,可以使用filter函数根据分类ID来筛选子类别。以下是一个示例代码:首先,假设你...
Android Studio ... 要给出包含代码示例的解决方法,我们可以使用Markdown语法来展示代码。下面是一个示例解决方案,其...
Android Retrofi... 问题描述:在使用Android Retrofit进行GET调用时,获取的响应为空,即使服务器返回了正...
Alexa技能在返回响应后出现... 在开发Alexa技能时,如果在返回响应后出现问题,可以按照以下步骤进行排查和解决。检查代码中的错误处...
Airflow Dag文件夹 ... 要忽略Airflow中的笔记本检查点,可以在DAG文件夹中使用以下代码示例:from airflow...