这个错误通常是由于在AWS Glue作业脚本中没有正确指定Scala类的路径,导致AWS无法找到该类并启动作业。为了解决这个问题,你需要修改AWS Glue作业脚本以正确指定Scala类的路径。下面是一个示例:
import com.amazonaws.services.glue.MappingSpec
import com.amazonaws.services.glue.util.JsonOptions
val transformScript = "s3://my-bucket/my-script.py"
val mapping = new MappingSpec(
"org.apache.spark.examples.pythonconvert",
transformScript,
JsonOptions(Map("":""))
)
Job.create(
name = "my-job",
mapping = mapping
)
在上面的脚本中,第10行指定了Scala类的类名“org.apache.spark.examples.pythonconvert”。如果该类不存在,则会出现“File --class does not exist”错误。确保你已正确指定Scala类路径,并重新运行AWS Glue作业以解决这个问题。