这可能是由于 AWS Glue 自动扩展组中没有足够的活动作业导致的。解决此问题的最简单方法是在 AWS Glue 控制台中手动终止不需要的 ETL 作业,以便自动扩展组能够动态缩减。另一种方法是使用 AWS SDK for Python (Boto3) 调用 AWS Glue API 执行终止作业操作。
以下是使用 Boto3 终止 AWS Glue 作业的示例代码:
import boto3
glue = boto3.client('glue')
response = glue.stop_job_run(
JobName='example-job',
JobRunId='jr_1234567890abcdefg'
)
print(response)