from awsglue.context import GlueContext
glueContext = GlueContext(SparkContext.getOrCreate())
# Disable the job commit option
glueContext.setJobCommit(False)
aws s3 cp --recursive s3://your-bucket-name/your-folder s3://your-bucket-name/your-folder-backup/
通过上述方法,您可以避免AWS Glue Pyspark作业意外删除S3文件夹。
上一篇:AWSGluePySpark上下文修改日期格式的方法
下一篇:AWSGluePythonFileNotFoundError:[Errno2]Nosuchfileordirector(AWSGluePython文件未找到错误:[Errno2]没有这样的文件或目录)