如果您发现使用AWS Glue爬虫提取MySQL数据库源时得到的列类型不正确,则可能需要进行数据类型映射。要更好地控制AWS Glue的列类型,您可以使用“数据映射”选项来定义一个由类型分组组成的映射。具体实现方法如下:
以下是一些示例代码,说明如何在AWS Glue中定义数据类型映射:
custom_mapping = {"source_column": "target_type"}
all_mapping = {"$all": {"source_type": "target_type"}}
glue_context = GlueContext(SparkContext.getOrCreate())
dynamic_frame = glue_context.create_dynamic_frame.from_catalog(database="my-database", table_name="my-table",
transformation_ctx="datasource")
mapping = MapTransformation(custom_mapping, all_mapping)
mapped_dynamic_frame = mapping