在 AWS Glue 脚本中使用 DynamicFrame 类来处理数据,并将 long 类型转换为字符串类型,再使用 from_python_options 方法将转换后的数据中的数据类型信息添加到 DynamicFrame 中。以下是示例代码:
from awsglue.dynamicframe import DynamicFrame
my_data_source = glueContext.create_dynamic_frame_from_options( connection_type="s3", connection_options={"paths": ["s3://my-bucket/my-path"]}, format="csv", format_options={"withHeader": True} )
transformed_data = my_data_source.toDF().withColumn("my_long_column", my_data_source.toDF()["my_long_column"].cast("string"))
transformed_dynamic_frame = DynamicFrame.fromDF(transformed_data, glueContext, "transformed_data") transformed_dynamic_frame = transformed_dynamic_frame.from_python_options(schema=[ {"name": "my_long_column", "type": "string"} ])