AWS EMR 配置文件需要存储在 S3 上,以便在启动集群时加载配置。以下是一些在 S3 中存储 AWS EMR 配置文件的组织建议。
在 S3 上创建一个存储桶(bucket),例如“my-emr-config-bucket”,并在其中创建配置文件目录,例如“configurations”。
然后,在“configurations”目录中创建一个文件夹,例如“emrfs-site”,并将要用于 EMRFS 的配置文件存储在其中。
最终的 S3 路径可能是如下所示:
s3://my-emr-config-bucket/configurations/emrfs-site/emrfs-site.xml
代码示例:
aws s3 cp emrfs-site.xml s3://my-emr-config-bucket/configurations/emrfs-site/
此命令将 emrfs-site.xml 文件上传到 S3 存储桶的“configurations/emrfs-site”目录中。
上一篇:AWSEMRNotebook中出现“AttributeError:'SparkContext'objecthasnoattribute'list_packages'”错误。
下一篇:AWSEMRPySparkUDF无法运行,提示“Failedtoruncommand/usr/bin/virtualenv(...)”。