AWS Glue 是一种 ETL 服务,用于管理不同格式的数据并将其转换为其他格式。但是,使用 AWS Glue 时可能会遇到 java.io.UncheckedIOException 错误。这个错误通常会在将数据加载到 Glue 表时出现。解决此问题的方法是在 Glue 作业的代码中添加以下行:
from awsglue.utils import getResolvedOptions
glueContext = GlueContext(SparkContext.getOrCreate())
args = getResolvedOptions(sys.argv, ['JOB_NAME'])
job = Job(glueContext)
job.init(args['JOB_NAME'], **job_kwargs)
其中,args['JOB_NAME'] 是代码中使用的 AWS Glue 作业名称。
添加这些行后保存代码并重新运行 AWS Glue 作业即可。这个错误通常是由于 AWS Glue 作业缺少所需的参数而导致的。