AWS Glue 的日志文件命名约定如下:
aws-glue-[job-name]/[attempt-id]/[stage-name]/[task-type]/[task-id].[extension]
其中,[job-name] 是作业名称,[attempt-id] 是作业执行的尝试 ID,[stage-name] 是执行阶段的名称,[task-type] 是任务类型,[task-id] 是任务 ID,[extension] 是日志文件扩展名。
为了方便管理和诊断,建议遵循以下命名约定:
作业名称应使用短横线(-)分隔单词,例如 my-job。
尝试 ID 和任务 ID 应该是唯一的,可以使用 UUID 或时间戳等方法生成。
扩展名应该根据日志文件类型选择,例如 .log 或 .json。
示例代码:
import uuid
attempt_id = uuid.uuid4().hex task_id = uuid.uuid4().hex
job_name = 'my-job' stage_name = 'stage-1' task_type = 'crawler' extension = 'log' log_file_name = f'aws-glue-{job_name}/{attempt_id}/{stage_name}/{task_type}/{task_id}.{extension}'
print(log_file_name)