火花读取空目录

Question

试图读取一个空的镶木地板目录，得到这个错误

无法指定拼花地板的架构。必须手动指定

我的代码

val myObject = spark.read.parquet(path).as[MyClass].filter(p => ......)

尝试处理scala尝试和定期检查空目录

myObject.rdd.isEmpty

任何想法

Answer 1

你可以这样试试

var myObject: DataFrame = null
try {
   myObject = spark.read.parquet(path).as[MyClass].filter(p => ......)
catch {
  case ae: AnalysisException =>
    //Do your logic here
}

在这个场景中，“myObject.rdd.isEmpty”不起作用，因为它需要加载目录并推断模式，然后检查是否为空。

要使其发挥作用，您可以执行以下操作：

val customSchema = StructType(Array(
  StructField("id", IntegerType, true),
  StructField("name", StringType, true),
  StructField("email", StringType, true))
)

val myObject = spark.read.schema(customSchema).parquet(path).as[MyClass].filter(p => ......)

if(myObject.rdd.isEmpty) {
   //Do something
}
else {
  //Do something else
}