ApacheSpark：成对的RDD示例

Question

我有一个项目的RDD，还有一个函数d:（项目，项目）=

因此，我想得到一个RDD的抽样项目对（我将从中计算距离）。例如，我想获得100万对的样本。给定采样对的RDD，然后计算平均值、直方图等，以了解距离分布。

以下是所有失败的初步尝试：

>

使用。RDD自身的笛卡尔，然后。示例。这会失败（内存不足），因为显然不应该以这种方式使用笛卡尔。

收集RDD的两个小样本，然后。zip这两个数组。这很好，但无法扩展。

有什么想法吗？

谢谢

编辑：下面是如何压缩每个分区中具有不同项数的两个示例：

val r = ... // RDD[Item]
val s1 = r.sample(true, 0.1, 123)
val s2 = r.sample(true, 0.1, 456)
val zipper = (i1: Iterator[Item], i2: Iterator[Item]) => i1.zip(i2)
val pairs = r1.zipPartitions(r2)(zipper) // zip the RDDs and explicitly define how to zip the partitions

关键是，虽然RDD的. zip方法不接受大小不等的分区，但迭代器的. zip方法接受（并丢弃较长迭代器的剩余部分）。

Answer 1

回答我自己的问题：

1. 获取rdd样品（带替换件），

代码：

import org.apache.spark.mllib.rdd.RDDFunctions._ // for .sliding
val x = ... // RDD[Item]
val xSize = x.count
val n = 1000000.0 // (approximate) desired sample size
val pairs = x.sample(true, n/xSize).sliding(2)
val distances = pairs.map(arr => dist(arr(0), arr(1)))