用户类引发异常：org。阿帕奇。火花sql。AnalysisException：无法推断拼花地板的架构。必须手动指定

Question

我将spark java代码实现为，数据集输入=spark。读取（）。拼花地板（configuration.getInputDataLocation（））；

但是inputDataLocation（Azure存储帐户容器中的文件夹）可能没有任何数据，并且在这种情况下引发异常，用户类引发异常：org。阿帕奇。火花sql。AnalysisException：无法推断拼花地板的架构。必须手动指定。

有没有一个简单的方法来检查文件夹是否事先是空的，然后只有我处理上面写的火花java代码行。

Answer 1

为什么不在输入目录中尝试读取以检查它是否存在？

       final boolean exists;
            try {
                exists = file.getFileSystem(spark.sparkContext().hadoopConfiguration()).getFileStatus(file).isFile();

//exists = dir.getFileSystem(spark.sparkContext().hadoopConfiguration()).listStatus(dir).length // (0 length is an empty dir)
            } catch (IOException e) {
                throw new UncheckedIOException(e);
            }
    
            if (exists) {
                return spark.read().parquet(configuration.getInputDataLocation());
            } else {
                LOG.warn("File directory '{}' does not exist", file);
                return spark.emptyDataset(SOME_ENCODER);
            }
        }