SparkStreaming示例中的ClassNotFoundException

Question

我刚开始使用Spark streaming并尝试运行本教程中的一个示例，我正在跟踪制作并运行我们自己的NetworkWordCount。我已经完成了第8步，并从SBT制作了一个罐子。

现在我正在尝试使用第9步中的命令运行deploy my jar,如下所示：

bin/spark-submit --class "NetworkWordCount" --master spark://abc:7077 target/scala-2.11/networkcount_2.11-1.0.jar localhost 9999

我创建的jar包含“NetworkWordCount”类，该类具有来自spark示例的以下代码

package src.main.scala

import org.apache.spark.SparkConf
import org.apache.spark.storage.StorageLevel
import org.apache.spark.streaming.{Seconds, StreamingContext}

object NetworkWordCount {
  def main(args: Array[String]) {
    if (args.length < 2) {
      System.err.println("Usage: NetworkWordCount <hostname> <port>")
      System.exit(1)
    }

    //StreamingExamples.setStreamingLogLevels()

    // Create the context with a 1 second batch size
    val sparkConf = new SparkConf().setAppName("MyNetworkWordCount")
    val ssc = new StreamingContext(sparkConf, Seconds(1))

    val lines = ssc.socketTextStream(args(0), args(1).toInt, StorageLevel.MEMORY_AND_DISK_SER)
    val words = lines.flatMap(_.split(" "))
    val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _)
    wordCounts.print()
    ssc.start()
    ssc.awaitTermination()
  }
}

我无法确定我做错了什么。

Answer 1

spark-submit参数--class采用完全限定的类名。对于上面的代码，它应该是src.main.scala.networkcount

bin/spark-submit --class src.main.scala.NetworkCount --master spark://abc:7077 target/scala-2.11/networkcount_2.11-1.0.jar localhost 9999

注意：使用的包名称看起来像IDE安装问题。src/main/scala是scala代码库的典型根，而不是包名。