类型不匹配：无法从Java Spark中的迭代器转换

Question

线程“main”java.lang.error中出现异常：未解决的编译问题：类型不匹配：无法从Iterator转换为Iterable

在com.spark.wordcount.lession1.wordcount2.main(wordcount2.java:26)

SparkConf conf = new SparkConf().setAppName("cust data").setMaster("local[*]");

    JavaSparkContext sc = new JavaSparkContext(conf);
    JavaRDD<String> lines = sc.textFile("C:\\\\Users\\\\dell\\\\Desktop\\\\simple_text_file.txt");
     JavaRDD<String> words = lines.flatMap(s -> Arrays.asList(SPACE.split(s)).iterator());

        JavaPairRDD<String, Integer> ones = words.mapToPair(s -> new Tuple2<>(s, 1));

        JavaPairRDD<String, Integer> counts = ones.reduceByKey((i1, i2) -> i1 + i2);

        List<Tuple2<String, Integer>> output = counts.collect();
        for (Tuple2<?,?> tuple : output) {
          System.out.println(tuple._1() + ": " + tuple._2());
        }

Answer 1

您正在混合不兼容的Spark/code版本：

在Spark 2.x FlatMapFunction.call中，
• 是java.util.Iterator 调用(T)
在Spark 1.x FlatMapFunction.call中，
• 是可迭代的 调用(T) 。

您应该将Spark dependency升级到2.x并保持当前代码，或者使用FlatMapFunction与1.x分支兼容：

JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
  @Override
  public Iterable<String> call(String s) {
    return Arrays.asList(SPACE.split(s));
  }
});