这个错误通常是由于作业并行设置不正确或作业资源不足引起的。为解决此错误,请尝试以下解决步骤:
调整AWS Glue作业的并行度限制,以减小并行度并减轻对资源的需求。
增加作业的资源,比如增加作业的计算资源或调整分配给作业的机器学习资源的容量。
确保作业的代码正确、无误,没有重复的任务或不必要的任务,这些任务会增加CPU的使用率,造成ThrottlingException。
示例代码:
import boto3
glue = boto3.client("glue")
job_name = "my-glue-job"
response = glue.get_job_run(JobName=job_name, RunId='my-run-id')
if "Rate exceeded" in response["JobRun"]["ErrorMessage"]:
response = glue.update_job(JobName=job_name, MaxCapacity=50)
response = glue.start_job_run(JobName=job_name)
import boto3
glue = boto3.client('glue')
job_name = "my-glue-job"
response = glue.update_job(JobName=job_name, NumberOfWorkers=5)
response = glue.update_job(JobName=job_name, WorkerType='G.2X')
response = glue.update_job(JobName=job_name, MaxCapacity=2)
response = glue.start_job_run(JobName=job_name)
import boto3
glue = boto3.client('glue')
job_name = "my