example:
val sparkConf = new SparkConf().setAppName("MyApp")
sparkConf.set("spark.hadoop.mapred.output.dir", "hdfs://output_path")
aws emr create-cluster --name "MyCluster" --release-label emr-5.0.0 --applications Name=Spark Name=Hadoop --use-default-roles --instance-count 3 --ec2-attributes KeyName=myKey --instance-type m3.xlarge --bootstrap-actions Path=s3://mybucket/install-mapreduce.sh
上面的代码中,install-mapreduce.sh是一个shell脚本,可以从S3下载并安装MapReduce框架。