AWS Glue作业在向S3写入时出现访问被拒绝的问题。_编程开发

AWS Glue作业在向S3写入时出现访问被拒绝的问题。

创始人

2024-11-16 09:01:15

0次

出现"访问被拒绝"的问题通常是由于AWS Glue作业所在的执行角色没有足够的权限来向S3写入数据。要解决这个问题，您可以按照以下步骤进行操作：

确保您的执行角色有足够的权限来向S3写入数据。您可以通过为执行角色添加适当的策略来实现这一点。以下是一个示例策略，它授予执行角色对特定S3存储桶的写入权限：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "GlueS3WriteAccess",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:PutObjectAcl"
      ],
      "Resource": "arn:aws:s3:::your-bucket-name/*"
    }
  ]
}

请将"your-bucket-name"替换为您要写入的S3存储桶的名称。

登录到AWS管理控制台并找到AWS Glue作业的执行角色。您可以在AWS Glue作业的"作业概览"页面中找到执行角色的名称。
转到AWS IAM控制台并找到执行角色。点击执行角色名称。
在执行角色的"权限"选项卡中，点击"添加权限"按钮。
在"添加权限"页面中，选择"策略生成器"选项。
在策略生成器中，选择"Amazon S3"服务，并选择"特定的操作(specific actions)"。
在"Amazon S3"操作中，选择"PutObject"和"PutObjectAcl"操作。
在"Amazon S3"资源中，选择"指定的ARN(specific ARNs)"并输入您要写入的S3存储桶的ARN。
点击"添加权限"按钮，然后再次点击"添加权限"按钮。
选择"策略生成器"选项，然后选择"AWS Glue"服务。
在"AWS Glue"操作中，选择"CreateJob"操作。
在"资源"中，选择"所有资源(all resources)"。
点击"添加权限"按钮，然后再次点击"添加权限"按钮。
点击"下一步"按钮，并为策略生成器创建一个名称，然后点击"创建策略"按钮。
返回到执行角色的"权限"选项卡，并刷新页面，确保新创建的策略在列表中显示。

现在，您的执行角色应该具有足够的权限来向S3写入数据。您可以重新运行AWS Glue作业，看看是否还会出现"访问被拒绝"的问题。

上一篇：systemsetting.exe-SystemSetting.exe：电脑心脏般的存在，复杂却有趣，你敢挑战吗？

下一篇：AWS Glue作业执行器在Shuffle写操作（将parquet写入S3）期间死亡。

AWS Glue作业在向S3写入时出现访问被拒绝的问题。

相关内容

热门资讯