Airflow在GCP Cloud Run作业完成后不反映其状态。
创始人
2024-08-02 15:00:31
0

要解决Airflow在GCP Cloud Run作业完成后不反映其状态的问题,可以使用Cloud Run的Eventarc功能来触发状态更新。以下是一个示例的解决方法:

  1. 首先,确保你已经在GCP上设置了Airflow和Cloud Run的环境,并且已经启动了相关的作业。

  2. 在Cloud Run服务的部署文件中(例如service.yaml),添加一个新的事件触发器(event-trigger):

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: my-cloud-run-service
spec:
  template:
    spec:
      containers:
        - image: my-cloud-run-image
          env:
            - name: AIRFLOW_DAG_RUN_ID
              value: "your-dag-run-id"  # 替换为你的DAG运行ID
      # 添加事件触发器
      serviceAccountName: cloud-run-eventarc-sa
      triggers:
        - kind: event
          apiVersion: eventing.knative.dev/v1
          name: my-cloud-run-service-trigger
          filter:
            attributes:
              type: com.google.cloud.auditlog.event
              serviceName: run.googleapis.com
              methodName: google.cloud.run.v1.RevisionServingStateChanged
          sink:
            apiVersion: serving.knative.dev/v1
            kind: Service
            name: my-cloud-run-service

在上面的示例中,我们添加了一个事件触发器my-cloud-run-service-trigger,它会监听Cloud Run服务的状态更改事件google.cloud.run.v1.RevisionServingStateChanged。当Cloud Run服务的状态发生变化时,它会触发指定的服务。

  1. 创建一个新的Cloud Run服务帐号,并将其授予适当的权限:
gcloud iam service-accounts create cloud-run-eventarc-sa --display-name "Cloud Run Eventarc Service Account"
gcloud run services add-iam-policy-binding my-cloud-run-service --member="serviceAccount:cloud-run-eventarc-sa@your-project-id.iam.gserviceaccount.com" --role="roles/run.eventReceiver"

请替换your-project-id为你的项目ID,my-cloud-run-service为你的Cloud Run服务名称。

  1. 启用Eventarc API:
gcloud services enable eventarc.googleapis.com
  1. 创建一个新的Pub/Sub主题,并将其用作事件的目标:
gcloud pubsub topics create my-cloud-run-topic
  1. 使用以下命令创建一个新的事件源:
gcloud eventarc triggers create my-cloud-run-trigger \
    --destination-run-service=my-cloud-run-service \
    --destination-run-region=us-central1 \
    --event-filters="type=google.cloud.auditlog.event,serviceName=run.googleapis.com,methodName=google.cloud.run.v1.RevisionServingStateChanged" \
    --transport-topic=projects/your-project-id/topics/my-cloud-run-topic

请替换your-project-id为你的项目ID和my-cloud-run-service为你的Cloud Run服务名称。

  1. 在Airflow的DAG中,你可以使用Pub/Sub Hook来订阅事件并更新作业的状态。例如:
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from airflow.contrib.hooks import GcpPubSubHook

def update_job_status():
    pubsub_hook = GcpPubSubHook(gcp_conn_id='google_cloud_default')
    messages = pubsub_hook.pull("my-cloud-run-subscription", max_messages=1)
    if messages:
        # 处理接收到的消息并更新作业状态
        message = messages[0]
        # 更新作业状态的逻辑

with DAG('my_dag', schedule_interval='@once') as dag:
    task = PythonOperator(
        task_id='update_job_status_task',
        python_callable=update_job_status
    )

在上面的示例中,我们使用Pub/Sub Hook来订阅名为my-cloud-run-subscription的订阅。当接收到新的消息时,我们可以处理消息并更新作业的状态。

通过使用Cloud Run的Eventarc功能和Pub/Sub Hook,你可以在Cloud Run作业完成后及时地更新Airflow的作业状态。

相关内容

热门资讯

安装apache-beam==... 出现此错误可能是因为用户的Python版本太低,而apache-beam==2.34.0需要更高的P...
避免在粘贴双引号时向VS 20... 在粘贴双引号时向VS 2022添加反斜杠的问题通常是由于编辑器的自动转义功能引起的。为了避免这个问题...
Android Recycle... 要在Android RecyclerView中实现滑动卡片效果,可以按照以下步骤进行操作:首先,在项...
omi系统和安卓系统哪个好,揭... OMI系统和安卓系统哪个好?这个问题就像是在问“苹果和橘子哪个更甜”,每个人都有自己的答案。今天,我...
原生ios和安卓系统,原生对比... 亲爱的读者们,你是否曾好奇过,为什么你的iPhone和安卓手机在操作体验上有着天壤之别?今天,就让我...
Android - 无法确定任... 这个错误通常发生在Android项目中,表示编译Debug版本的Java代码时出现了依赖关系问题。下...
Android - NDK 预... 在Android NDK的构建过程中,LOCAL_SRC_FILES只能包含一个项目。如果需要在ND...
Akka生成Actor问题 在Akka框架中,可以使用ActorSystem对象生成Actor。但是,当我们在Actor类中尝试...
Agora-RTC-React... 出现这个错误原因是因为在 React 组件中使用,import AgoraRTC from “ago...
Alertmanager在pr... 首先,在Prometheus配置文件中,确保Alertmanager URL已正确配置。例如:ale...