在Spark Streaming中运行单词计数程序时获取java.net.ConnectException

Question

我试图在spark streaming中运行单词计数程序，但我的错误如下。我使用的是NC-LK9999

           import org.apache.spark._
           import org.apache.spark.streaming._
           import org.apache.spark.streaming.StreamingContext._
           import org.apache.spark.streaming.Seconds


                object wordcount{

                def main(args: Array[String]):Unit = {


         val conf = new 
      SparkConf().setMaster("local[2]").setAppName("WordCount")
      val ssc = new StreamingContext(conf, Seconds(5))

              val lines = ssc.socketTextStream("localhost",9999)

              val words = lines.flatMap(_.split(" "))
                    val pairs = words.map(word => (word, 1))
                    val wordcount = pairs.reduceByKey(_+_)

         wordcount.print()

        ssc.start()             
             ssc.awaitTermination()

Answer 1

我曾经面对过这个问题。当您将spark连接到端口999netcat server但尚未启动时，就会发生此异常。因此，在将spark连接到端口999之前，请确保netcat正在运行。

您可以看看这个解决方案的答案