如何解决嵌套映射函数中的SPARK-5063

Question

RDD转换和操作只能由驱动程序调用，不能在其他转换内部调用；例如，rdd1。地图（x）=

正如错误所说，我试图在主映射函数中映射（转换）一个JavaRDD对象，ApacheSpark怎么可能呢？

主要JavaPairRDD对象（TextFile和Word是定义的类）：

JavaPairRDD<TextFile, JavaRDD<Word>> filesWithWords = new...

和地图功能：

filesWithWords.map(textFileJavaRDDTuple2 -> textFileJavaRDDTuple2._2().map(word -> new Word(word.getText(), (long) textFileJavaRDDTuple2._1().getText().split(word.getText()).length)));

我还尝试了foreach映射函数，但不起作用。（当然还有SPARK-5063）

Answer 1

@maasg首先我使用了JavaPairdd

文本文件（字符串路径，字符串文本）

字（字符串字、整数计数）

现在使用JavaRDD

文本文件（字符串路径，字符串文本，列表

字（字符串字、整数计数）

最后

List<Word> countDrafts = wordCount.map(v11 -> new Word(v11._1(), (long) 0)).collect();
JavaRDD<TextFile> ft = fileTexts.map(v11 -> new TextFile(v11._1(), v11._2(), countDrafts));
ft.foreach(textFile -> textFile.getWordList().forEach(word -> new  Word(word.getText(), getWordCountFromText(textFile.getText(), word.getText())))); 

getWordCountFromText（）函数在TextFile对象的文本中计数单词，但不幸的是，没有使用火花减少方法，使用经典的方式。

顺便说一下，我将在接下来的日子里尝试数据帧，但我有很短的时间来做这件事。

谢谢大家。

Answer 2

当我在Spark的学习曲线中达到这个完全相同的点时（尝试使用嵌套RDD但失败了），我切换到了DataFrames，并且能够使用连接来完成同样的事情。而且，一般来说，数据帧的速度几乎是RDD的两倍——至少就我所做的工作而言。

Answer 3

同样，不支持RDD上的嵌套操作，Spark中也不支持嵌套RDD类型。RDD仅在驱动程序中定义，在驱动程序中，RDD与它们的SparkContext相结合，可以对它们所表示的数据安排操作。

因此，在这种情况下，我们需要解决的根本原因是数据类型：

JavaPairRDD<TextFile, JavaRDD<Word>> filesWithWords

在火花中没有可能的有效用途。根据使用情况，这在问题中没有进一步解释，这种类型应该成为以下类型之一：

RDD的集合，其中包含它们所指的文本文件：

Map<TextFile,RDD<Word>>

或按文本文件列出的（文本文件、Word）集合：

JavaPairRDD<TextFile, Word>

或一组单词及其对应的文本文件：

JavaPairRDD<TextFile, List<Word>>

一旦纠正了类型，嵌套RDD操作的问题就会自然得到解决。