在AWS Glue Job代码中使用导入logging模块,并将日志输出到AWS CloudWatch Logs服务中。以下是示例代码:
import logging
import sys
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
# 初始化Spark和GlueContext
sc = SparkContext()
glue_context = GlueContext(sc)
job = Job(glue_context)
# 设置AWS Glue Job日志输出到CloudWatch Logs服务中
logger = glue_context.get_logger()
logger.setLevel(logging.DEBUG)
logger.addHandler(logging.StreamHandler(sys.stdout))
# 在此处编写您的 AWS Glue Job 代码
job.commit()
此代码通过调用AWS Glue Context的get_logger()方法来设置日志。将日志级别设置为DEBUG后,将使用StreamHandler输出到标准输出流sys.stdout。然后,您可以使用CloudWatch Logs服务按作业或时间戳记录和管理日志。