这个问题出现通常是因为Databricks使用了新的文件格式,但是代码中未添加该格式支持。需要在代码中添加支持该格式的代码段,例如:
from pyspark.sql import SparkSession from pyspark.sql.functions import *
spark = SparkSession.builder.master("local").appName("MyApp").getOrCreate()
df = spark.read.format("com.databricks.spark.avro").load("path/to/file")
spark.conf.set("spark.sql.sources.default", "com.databricks.spark.csv") df = spark.read.format("com.databricks.spark.csv").option("header", "true").load("path/to/file.csv") df.show()
这样就可以添加支持新的文件格式,避免出现'FileFormat is not in list Databricks”的错误。