连接Spark本地群集时出错

Question

我试图在本地mac中运行以下代码，其中运行有主从集群的spark集群

  public void run(String inputFilePath) {

    String master = "spark://192.168.1.199:7077";

    SparkConf conf = new SparkConf()
        .setAppName(WordCountTask.class.getName())
        .setMaster(master);
    JavaSparkContext context = new JavaSparkContext(conf);


    context.textFile(inputFilePath)
        .flatMap(text -> Arrays.asList(text.split(" ")).iterator())
        .mapToPair(word -> new Tuple2<>(word, 1))
        .reduceByKey((a, b) -> a + b)
        .foreach(result -> LOGGER.info(
            String.format("Word [%s] count [%d].", result._1(), result._2)));
  }
}

但是，在主控制台和

Answer 1

刚刚意识到Spark的版本在主/从和代码的POM文件中是不同的。提高了pom.xml中的版本，以匹配spark集群，它工作了。