Apache Spark：java.lang.NosuchMethoderRorr.rddtopAirrddFunctions

Question

val sigCounts = rowData.map(row => (row("Signature"), 1)).countByKey()

我怀疑这可能是一个建造问题。下面是我的sbt文件：

name := "Example1"
version := "0.1"
scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.0"
scalacOptions ++= Seq("-feature")

我是Scala的新手，所以可能导入的内容不正确？我有：

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import scala.io.Source

Answer 1

java.lang.nosuchmethoderror通常表示编译代码所依据的版本高于运行时使用的库的版本。

对于Spark，这意味着用于编译的Spark版本与（在机器或集群上）部署的Spark版本不同。

在开发时和运行时之间对齐版本应该可以解决这个问题。