AWS EMR 是一种托管的 Hadoop 和 Spark 集群服务,它支持自适应缩放。这意味着 AWS EMR 可以根据您的工作负载自动增加或减少集群规模。在使用 Spark Submit 命令时,需要使用“yarn”作为 master。以下是使用 AWS EMR 管理缩放和 Spark Submit 命令的示例代码:
$ aws emr create-cluster --name "My cluster name" --release-label emr-5.29.0 --applications Name=Hadoop Name=Spark --ec2-attributes KeyName=myKey --instance-type m5.xlarge --instance-count 3 --use-default-roles
$ spark-submit --deploy-mode cluster --master yarn s3://mybucket/myapp.jar
$ aws emr describe-cluster --cluster-id
这是一个示例输出:
{ "DisableAutoTermination": false, "State": "ENABLED" }
以上是使用 AWS EMR 管理缩放和 Spark Submit 命令的示例方法。