在Airflow中连接到S3时,可能会遇到禁止访问错误。以下是解决此错误的步骤和代码示例:
pip install apache-airflow[aws]
[s3]
aws_access_key_id = YOUR_ACCESS_KEY_ID
aws_secret_access_key = YOUR_SECRET_ACCESS_KEY
确保将 YOUR_ACCESS_KEY_ID 和 YOUR_SECRET_ACCESS_KEY 替换为您的AWS访问密钥。
from airflow.providers.amazon.aws.hooks.s3 import S3Hook
# 创建S3连接
s3_hook = S3Hook(aws_conn_id='your_s3_conn_id')
# 通过连接进行操作
s3_hook.get_conn().list_buckets()
确保将 'your_s3_conn_id' 替换为您的S3连接ID。
这些步骤将帮助您解决Airflow中的S3客户端错误,并使用正确的S3连接设置。