当我在Java1.8中使用Spark执行WordCount示例时，与迭代器相关的错误[duplicate]

Question

当我复制并粘贴apache spark主页中的WordCount示例时，我得到了以下错误。（我使用Java1.8 for lambda表达式）

JavaPairRDD<String, Integer> countsk = input.flatMap(x -> Arrays.asList(x.split(" ")).iterator())  //where error occurred.
                .mapToPair(x -> new Tuple2<>(x, 1))
                .reduceByKey((x, y) -> x + y);

Error message : no instances of type variable(s) U exist so that iterator<String> conforms to Iterable<U>.

在得到这个错误消息后，我修复了代码如下，它确实工作良好。

 JavaRDD<String> words = input.flatMap(str -> Arrays.asList(str.split(" ")));
        JavaPairRDD<String, Integer> pairs = words.mapToPair(str -> new Tuple2<>(str, 1));
        JavaPairRDD<String, Integer> counts = pairs.reduceByKey((a, b) -> a + b);

但是，这对我来说有点奇怪，因为我只是复制并粘贴了apache Spark提供的代码。为什么我会出现这样的错误，以及如何解决上述问题？

Answer 1

事实上，在使用flatMap和flatMapToPair时，输出会根据使用的spark版本而有所不同：

>

在spark Version2中，它需要在集合上返回一个迭代器

而不是在版本2下的spark中使用的集合。