Airflow在GCP Cloud Run作业完成后不反映其状态。
创始人
2024-08-02 15:00:31
0

要解决Airflow在GCP Cloud Run作业完成后不反映其状态的问题,可以使用Cloud Run的Eventarc功能来触发状态更新。以下是一个示例的解决方法:

  1. 首先,确保你已经在GCP上设置了Airflow和Cloud Run的环境,并且已经启动了相关的作业。

  2. 在Cloud Run服务的部署文件中(例如service.yaml),添加一个新的事件触发器(event-trigger):

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: my-cloud-run-service
spec:
  template:
    spec:
      containers:
        - image: my-cloud-run-image
          env:
            - name: AIRFLOW_DAG_RUN_ID
              value: "your-dag-run-id"  # 替换为你的DAG运行ID
      # 添加事件触发器
      serviceAccountName: cloud-run-eventarc-sa
      triggers:
        - kind: event
          apiVersion: eventing.knative.dev/v1
          name: my-cloud-run-service-trigger
          filter:
            attributes:
              type: com.google.cloud.auditlog.event
              serviceName: run.googleapis.com
              methodName: google.cloud.run.v1.RevisionServingStateChanged
          sink:
            apiVersion: serving.knative.dev/v1
            kind: Service
            name: my-cloud-run-service

在上面的示例中,我们添加了一个事件触发器my-cloud-run-service-trigger,它会监听Cloud Run服务的状态更改事件google.cloud.run.v1.RevisionServingStateChanged。当Cloud Run服务的状态发生变化时,它会触发指定的服务。

  1. 创建一个新的Cloud Run服务帐号,并将其授予适当的权限:
gcloud iam service-accounts create cloud-run-eventarc-sa --display-name "Cloud Run Eventarc Service Account"
gcloud run services add-iam-policy-binding my-cloud-run-service --member="serviceAccount:cloud-run-eventarc-sa@your-project-id.iam.gserviceaccount.com" --role="roles/run.eventReceiver"

请替换your-project-id为你的项目ID,my-cloud-run-service为你的Cloud Run服务名称。

  1. 启用Eventarc API:
gcloud services enable eventarc.googleapis.com
  1. 创建一个新的Pub/Sub主题,并将其用作事件的目标:
gcloud pubsub topics create my-cloud-run-topic
  1. 使用以下命令创建一个新的事件源:
gcloud eventarc triggers create my-cloud-run-trigger \
    --destination-run-service=my-cloud-run-service \
    --destination-run-region=us-central1 \
    --event-filters="type=google.cloud.auditlog.event,serviceName=run.googleapis.com,methodName=google.cloud.run.v1.RevisionServingStateChanged" \
    --transport-topic=projects/your-project-id/topics/my-cloud-run-topic

请替换your-project-id为你的项目ID和my-cloud-run-service为你的Cloud Run服务名称。

  1. 在Airflow的DAG中,你可以使用Pub/Sub Hook来订阅事件并更新作业的状态。例如:
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from airflow.contrib.hooks import GcpPubSubHook

def update_job_status():
    pubsub_hook = GcpPubSubHook(gcp_conn_id='google_cloud_default')
    messages = pubsub_hook.pull("my-cloud-run-subscription", max_messages=1)
    if messages:
        # 处理接收到的消息并更新作业状态
        message = messages[0]
        # 更新作业状态的逻辑

with DAG('my_dag', schedule_interval='@once') as dag:
    task = PythonOperator(
        task_id='update_job_status_task',
        python_callable=update_job_status
    )

在上面的示例中,我们使用Pub/Sub Hook来订阅名为my-cloud-run-subscription的订阅。当接收到新的消息时,我们可以处理消息并更新作业的状态。

通过使用Cloud Run的Eventarc功能和Pub/Sub Hook,你可以在Cloud Run作业完成后及时地更新Airflow的作业状态。

相关内容

热门资讯

安卓换鸿蒙系统会卡吗,体验流畅... 最近手机圈可是热闹非凡呢!不少安卓用户都在议论纷纷,说鸿蒙系统要来啦!那么,安卓手机换上鸿蒙系统后,...
app安卓系统登录不了,解锁登... 最近是不是你也遇到了这样的烦恼:手机里那个心爱的APP,突然就登录不上了?别急,让我来帮你一步步排查...
安卓系统拦截短信在哪,安卓系统... 你是不是也遇到了这种情况:手机里突然冒出了很多垃圾短信,烦不胜烦?别急,今天就来教你怎么在安卓系统里...
安卓系统要维护多久,安卓系统维... 你有没有想过,你的安卓手机里那个陪伴你度过了无数日夜的安卓系统,它究竟要陪伴你多久呢?这个问题,估计...
windows官网系统多少钱 Windows官网系统价格一览:了解正版Windows的购买成本Windows 11官方价格解析微软...
安卓系统如何卸载app,轻松掌... 手机里的App越来越多,是不是感觉内存不够用了?别急,今天就来教你怎么轻松卸载安卓系统里的App,让...
怎么复制照片安卓系统,操作步骤... 亲爱的手机控们,是不是有时候想把自己的手机照片分享给朋友,或者备份到电脑上呢?别急,今天就来教你怎么...
安卓系统应用怎么重装,安卓应用... 手机里的安卓应用突然罢工了,是不是让你头疼不已?别急,今天就来手把手教你如何重装安卓系统应用,让你的...
iwatch怎么连接安卓系统,... 你有没有想过,那款时尚又实用的iWatch,竟然只能和iPhone好上好?别急,今天就来给你揭秘,怎...
iphone系统与安卓系统更新... 最近是不是你也遇到了这样的烦恼?手机更新系统总是失败,急得你团团转。别急,今天就来给你揭秘为什么iP...