Spark：如何组合2个排序的RDD，以便在合并后保持顺序？

Question

我有两个分类的RDD：

val rdd_a = some_pair_rdd.sortByKey().
                    zipWithIndex.filter(f => f._2 < n).
                    map(f => f._1)
val rdd_b = another_pair_rdd.sortByKey().
                    zipWithIndex.filter(f => f._2 < n).
                    map(f => f._1)
val all_rdd = rdd_a.union(rdd_b)

在all_rdd中，我看到顺序不一定像我想象的那样得到维护（rdd_a的所有元素排在第一位，然后是rdd_b的所有元素）。我的假设是否不正确（关于Union的契约），如果是，我应该使用什么将多个排序的RDD追加到单个rdd中？

Answer 1

您不能。Spark没有合并排序，因为您不能对RDD实际存储在节点上的方式做出假设。如果您希望在合并后按排序顺序进行排序，您需要重新排序。

Answer 2

我对Spark还比较陌生，所以我可能是错的，但从我的理解来看，联盟是一种狭隘的转变。也就是说，每个执行器只将其RDD a的本地块与其RDD b的本地块连接起来，然后将其返回给驱动程序。

例如，假设您有两个执行者和两个RDD。

RDD_A=["a"，"b"，"c"，"d"，"e"，"f"]

和

RDD_B=[“1”、“2”、“3”、“4”、“5”、“6”]

让Executor 1包含RDD的前半部分，Executor 2包含RDD的后半部分。当他们在本地块上执行并集时，看起来像：

联合执行人1=[“a”、“b”、“c”、“1”、“2”、“3”]

和

Union_executor2=["d"，"e"，"f"，"4"，"5"，"6"]

所以当执行者把他们的零件传回给驱动程序时，你会有[“a”、“b”、“c”、“1”、“2”、“3”、“d”、“e”、“f”、“4”、“5”、“6”]

再说一次，我是Spark的新手，我可能错了。我只是根据我对RDD的理解来分享。希望我们都能从中学习一些东西。