类型不匹配：无法从Iterator转换 在Java Spark中

Question

线程“主”中的异常java.lang.Error：未解决的编译问题：类型不匹配：无法从Iterator转换为Iterable

在com.spark.wordcount.lession1.WordCount2.main（WordCount2.java:26）

SparkConf conf = new SparkConf().setAppName("cust data").setMaster("local[*]");

    JavaSparkContext sc = new JavaSparkContext(conf);
    JavaRDD<String> lines = sc.textFile("C:\\\\Users\\\\dell\\\\Desktop\\\\simple_text_file.txt");
     JavaRDD<String> words = lines.flatMap(s -> Arrays.asList(SPACE.split(s)).iterator());

        JavaPairRDD<String, Integer> ones = words.mapToPair(s -> new Tuple2<>(s, 1));

        JavaPairRDD<String, Integer> counts = ones.reduceByKey((i1, i2) -> i1 + i2);

        List<Tuple2<String, Integer>> output = counts.collect();
        for (Tuple2<?,?> tuple : output) {
          System.out.println(tuple._1() + ": " + tuple._2());
        }

Answer 1

您正在混合不兼容的Spark版本/代码：

• 在Spark 2.x中FlatMapFunction.call 是java.util.Iterator<R> call(T t)
• 在Spark 1.x中FlatMapFunction.call 是Iterable<R> call(T t)。

您应该将Spark依赖项升级到2.x并保持当前代码，或者FlatMapFunction
与1.x分支兼容：

JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
  @Override
  public Iterable<String> call(String s) {
    return Arrays.asList(SPACE.split(s));
  }
});