此问题通常是由于ADF不支持源文件中的某些类型而引起的。您可以手动指定模式(即架构)以解决此问题。在ADF 中,可以使用以下代码来指定Parquet文件的架构:
import org.apache.spark.sql.types._
val customSchema = StructType(Seq(
StructField("column_name1", StringType, true),
StructField("column_name2", IntegerType, true),
StructField("column_name3", DoubleType, true)
))
val df = spark.read.schema(customSchema).parquet("path_to_parquet_file")
在上面的代码中,您需要 用自己的专用模式替换structuring。 如果未正确执行架构,则可能会出现“非原始,不支持的类型”错误。