在AWS MWAA (Managed Workflows for Apache Airflow)中使用Glue爬虫时,可能遇到以下问题:
以下是解决此问题的步骤:
确保您的Glue爬虫和MWAA环境在同一个VPC中。如果它们不在同一个VPC中,则可以通过创建VPC peering来实现网络连接。
确保您的Glue角色和MWAA环境使用的IAM角色相同。您可以在MWAA环境的'Airflow Configuration Options”中找到IAM角色。
确保您的Glue角色和MWAA环境使用的IAM角色具有执行Glue任务所需的权限。您可以使用以下示例策略:
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "glue:" ], "Resource": "" } ] }
您可以将此策略添加到使用的IAM角色中。
这些步骤应该能够解决AWS MWAA中使用Glue爬虫的问题。
上一篇:AWSMWAA:部分提供的配置格式不符合预期:调度器,例如:core.log_format
下一篇:AWSMYSQL8.0RDS出现SQL错误:1146,SQLState:42S02。表格'./rdsdbdata/tmp/#sql####_31'不存在错误。