使用Spark Java excel从excel文件加载数据

Question

我想使用Spark Session2.2从HDFS中的Excel文件加载数据。下面是我的Java代码和我得到的异常。

Dataset<Row> df = 
            session.read().
            format("com.crealytics.spark.excel").
            option("location", pathFile).
            option("sheetName", "Feuil1").
            option("useHeader", "true").
            option("treatEmptyValuesAsNulls", "true").
            option("inferSchema", "true").
            option("addColorColumns", "false").
            load(pathFile);

我有个例外：

java.lang.nosuchmethoderror:org.apache.poi.ss.usermodel.workbook.close（）V at com.crealytics.spark.excel.excelrelation.com$crealytics$spark$excel$excelrelation$$$getexcerpt(excelrelation.scala:81)at com.crealytics.spark.excel.excelrelations$$anonfun$inferschema$1.apply(excelrelation.scala:270)at EL.ExcelRelation.InferSchema(ExcelRelation.scala:269)在com.crealytics.spark.excel.ExcelRelation.(ExcelRelation.scala:97)在com.crealytics.spark.excel.defaultSource.createration（DefaultSource.scala:35)在com.crealytics.spark.excel.defaultSource.createrelation（DefaultSource.scala:14)在A:330)位于org.apache.spark.sql.dataframeReader.load（dataframeReader.scala:152)

Answer 1

这看起来像是一个依赖问题。检查在您的POM/SBT中是否有一些库没有使用不同版本的Apache POI。例如，您可以使用mvn depenency：tree（https://maven.apache.org/plugins/maven-dependency-plugin/examples/resolution-conflects-using-the-dependency-tree.html）或适当的SBT/gradle...命令。

当发现有冲突的依赖项（workbook.close（）方法丢失的依赖项）时，可以将其从导入中排除。

显然，close()方法是在这里添加的:https://github.com/apache/poi/commit/47a8f6cf486b974f31ffd694716f424114e647d5