使用AWS Glue API中的get_job_run接口,可以获取作业执行的详细信息,包括作业执行状态、开始时间、结束时间、错误信息等。对于作业执行器和最大所需执行器,可以通过job_run中的allocated_capacity和max_capacity属性进行获取。
以下是Python代码示例,获取作业执行信息以及执行器相关信息:
import boto3
glue_client = boto3.client('glue')
response = glue_client.get_job_run( JobName='my-job', RunId='jr_1234567890123456' )
status = response['JobRun']['JobRunState']
start_time = response['JobRun']['StartedOn']
end_time = response['JobRun']['CompletedOn']
error_message = response['JobRun'].get('ErrorMessage', None)
active_executors = response['JobRun'].get('NumberOfWorkers', None)
max_executors = response['JobRun'].get('MaxCapacity', None)
print(f'作业执行状态: {status}') print(f'作业执行开始时间: {start_time}') print(f'作业执行结束时间: {end_time}') print(f'作业执行错误信息: {error_message}') print(f'活跃执行器数量: {active_executors}') print(f'所需的最大执行器数量: {max_executors}')
上一篇:AWSGlue-找到表的架构参考
下一篇:awsglue.utils.GlueArgumentError:argument--extra-filesisrequired(缺少--extra-files参数)