此错误通常是由于数据目录已被删除或修改所致。可以尝试在提交之前刷新数据目录。以下是一个示例:
import boto3
# AWS Glue client
glue = boto3.client('glue')
# database and table information
database_name = "my_database"
table_name = "my_table"
# refresh the table schema
response = glue.batch_delete_table_version(
DatabaseName=database_name,
TableName=table_name,
VersionIds=[version['VersionId'] for version in glue.get_table_versions(
DatabaseName=database_name,
TableName=table_name)['TableVersions']]
)
请确保您的AWS Glue IAM角色已授予glue:BatchDeleteTableVersion
和glue:GetTableVersions
权限。