Apache Flink使用的S3文件系统需要有效的凭据才能访问存储桶。如果凭据无效或错误,则会出现“AWS S3访问错误”等错误。有两种方法可以解决此问题。
方法一:检查凭据是否正确 确保提供的凭据(AWS访问密钥和密钥ID)是有效的,并且具有访问存储桶的权限。您可以在AWS控制台上查看凭据是否有效,或者使用以下命令行检查:
aws s3 ls s3://[bucket-name] --profile [aws-profile]
如果访问成功,则凭据是有效的。否则,请确保凭据正确,并具有正确的权限。
方法二:将凭据添加到Flink的配置文件中 将凭据添加到Flink的配置文件中,以便在运行任务时自动使用它们。在flink-conf.yaml文件中添加以下配置:
s3.access-key: ACCESS_KEY s3.secret-key: SECRET_KEY
替换ACCESS_KEY和SECRET_KEY为您的AWS访问密钥和密钥ID。保存文件后,重新启动Flink任务并检查是否仍然出现S3访问错误。