如何在Spark 2.2.0中加载XML文件？

Question

当我在spack-2.2.0中加载xml文件时，如下所示：

var ac = spark.read.format("xml").html" target="_blank">option("rowTag", "App").load("/home/sid/Downloads/Files/*.xml")

它向我展示了一个错误：

JAVAlang.ClassNotFoundException:未能找到数据源：xml。请在http://spark.apache.org/third-party-projects.html在org。阿帕奇。火花sql。处决数据源。数据源$。org上的lookUpdateSource（DataSource.scala:549）。阿帕奇。火花sql。处决数据源。数据源。在org上提供class$lzycompute（DataSource.scala:86）。阿帕奇。火花sql。处决数据源。数据源。在org上提供类（DataSource.scala:86）。阿帕奇。火花sql。处决数据源。数据源。resolveRelation（DataSource.scala:301）位于org。阿帕奇。火花sql。DataFrameReader。在org上加载（DataFrameReader.scala:178）。阿帕奇。火花sql。DataFrameReader。加载（DataFrameReader.scala:156）。。。48删去

原因：java。lang.ClassNotFoundException:xml。scala的DefaultSource。反映内部的util。AbstractFileClassLoader。java上的findClass（AbstractFileClassLoader.scala:62）。lang.ClassLoader。java上的loadClass（ClassLoader.java:424）。lang.ClassLoader。org上的loadClass（ClassLoader.java:357）。阿帕奇。火花sql。处决数据源。数据源$$anonfun$21$$anonfun$apply$12。在org上申请（DataSource.scala:533）。阿帕奇。火花sql。处决数据源。数据源$$anonfun$21$$anonfun$apply$12。在scala上应用（DataSource.scala:533）。util。试试美元。在org上申请（Try.scala:192）。阿帕奇。火花sql。处决数据源。数据源$$anonfun$21。在org上申请（DataSource.scala:533）。阿帕奇。火花sql。处决数据源。数据源$$anonfun$21。在scala上应用（DataSource.scala:533）。util。尝试orElse（Try.scala:84）网站。阿帕奇。火花sql。处决数据源。数据源$。LookUpdateSource（DataSource.scala:533）。。。还有53个

Answer 1

@sahil desai——既然我们已经添加了对xml的依赖，那么为什么我们要创建spark上下文，因为spark shell已经提供了spark会话作为spark。这不是更好吗？

 val df = spark.read.format("xml")
         .option("rowTag", "app")
         .load("/home/sid/Downloads/Files/*.xml")

Answer 2

在这里，您必须使用databricks包来加载XML文件。您可以使用以下带有spark submit或spark shell的命令加载databricks包。

$SPARK_HOME/bin/spark-shell --packages com.databricks:spark-xml_2.10:0.4.1

然后你可以按照这个加载。

val df = spark.read
  .format("com.databricks.spark.xml")
  .option("rowTag", "app")
  .load("/home/sid/Downloads/Files/*.xml")

有关更多信息，请访问此链接。https://github.com/databricks/spark-xml