在spark中读取json缺少json数据源

Question

我试图使用下面的代码将一个示例json文件读取到SqlContext中，但失败了，随后出现了datasource错误。

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val path = "C:\\samplepath\\sample.json"
val jsondata = sqlContext.read.json(path)

Java语言lang.ClassNotFoundException：未能找到数据源：json。请在以下位置查找包裹http://spark-packages.org位于组织。阿帕奇。火花sql。处决数据源。ResolvedDataSource美元。org上的lookUpdateSource（ResolvedDataSource.scala:77）。阿帕奇。火花sql。处决数据源。ResolvedDataSource美元。在组织中应用（ResolvedDataSource.scala:102）。阿帕奇。火花sql。DataFrameReader。在组织加载（DataFrameReader.scala:119）。阿帕奇。火花sql。DataFrameReader。在组织加载（DataFrameReader.scala:109）。阿帕奇。火花sql。DataFrameReader。org上的json（DataFrameReader.scala:244）。阿帕奇。火花部署SparkSubmit美元。doRunMain 1美元（SparkSubmit.scala:181），网址：org。阿帕奇。火花部署SparkSubmit美元。在org上提交（SparkSubmit.scala:206）。阿帕奇。火花部署SparkSubmit美元。main（SparkSubmit.scala:121）位于org。阿帕奇。火花部署SparkSubmit。main（SparkSubmit.scala）由：java引起。lang.ClassNotFoundException：json。scala的DefaultSource。工具。nsc。口译译员AbstractFileClassLoader。java上的findClass（AbstractFileClassLoader.scala:83）。lang.ClassLoader。java上的loadClass（ClassLoader.java:424）。lang.ClassLoader。位于org的loadClass（ClassLoader.java:357）。阿帕奇。火花sql。处决数据源。ResolvedDataSource$$anonfun$4$$anonfun$应用$1。在组织中应用（ResolvedDataSource.scala:62）。阿帕奇。火花sql。处决数据源。ResolvedDataSource$$anonfun$4$$anonfun$应用$1。在scala中应用（ResolvedDataSource.scala:62）。util。试试美元。在组织中应用（尝试scala:161）。阿帕奇。火花sql。处决数据源。ResolvedDataSource$$anonfun$4。在组织中应用（ResolvedDataSource.scala:62）。阿帕奇。火花sql。处决数据源。ResolvedDataSource$$anonfun$4。在scala中应用（ResolvedDataSource.scala:62）。util。尝试orElse（Try.scala:82）位于org。阿帕奇。火花sql。处决数据源。ResolvedDataSource美元。LookUpdateSource（ResolvedDataSource.scala:62）。。。50多个

我试图寻找可能丢失的spark软件包，但找不到任何有助于修复它的东西。

我使用Pyspark尝试了类似的代码，但失败了，出现了类似的json数据源ClassNotFoundException。

在进一步尝试将现有RDD转换为JsonRDD后，我成功地获得了结果。我有什么遗漏吗？我正在Scala-2.10.5上使用Spark-1.6.1。非常感谢您的帮助。谢谢

val stringRDD = sc.parallelize(Seq(""" 
  { "isActive": false,
    "balance": "$1,431.73",
    "picture": "http://placehold.it/32x32",
    "age": 35,
    "eyeColor": "blue"
  }""",
   """{
    "isActive": true,
    "balance": "$2,515.60",
    "picture": "http://placehold.it/32x32",
    "age": 34,
    "eyeColor": "blue"
  }""", 
  """{
    "isActive": false,
    "balance": "$3,765.29",
    "picture": "http://placehold.it/32x32",
    "age": 26,
    "eyeColor": "blue"
  }""")
)
sqlContext.jsonRDD(stringRDD).registerTempTable("testjson")
sqlContext.sql("SELECT age from testjson").collect

Answer 1

我使用源代码创建了jar，因此我认为问题在于缺少了一些资源。我从spark网站下载了最新的jar