为什么Spark JavaRDD flatmap函数返回一个迭代器[duplicate]

Question

我正在尝试研究java单词计数示例。据我所知，spark RDD是一种特殊类型的集合，而flat map基本上转换一个嵌套的集合（比如Stream>=>Stream)，那么为什么下面一行中的spark Java API需要为每一行返回一个迭代器呢？如何在RDD中使用？

函数不是应该在arrays.aslist（line.toString（）.split（“”））结束吗？

JavaRDD words =
                lines.flatMap(line -> Arrays.asList(line.toString().split(" ")).iterator());

Answer 1

在Java API中，flatMap函数取函数接口FlatMapFunction的一个对象/函数，其契约（调用函数）是返回一个迭代器：

java.util.Iterator 调用(T，T)引发异常

将其与scala flatMap进行比较，您可以看到类似的语法。但是作者能够使用Scala的implicit特性来实现它，以便对用户非常友好。

如果您理解了迭代器 object>应该返回输入到它的完全相同数量的项，这些项可能是不同类型的，那么使用迭代器的原因就会变得有意义了。但是，flatmap可以返回比输入更多的元素（包括0），这些元素也可能是不同类型的。在内部，实现将使用您提供的lambda，通过组合这些迭代器的输出来获得最终列表。