使用非相等键的自定义联接

Question

我需要实现一个自定义的连接策略，这将匹配非严格平等的关键。举例来说，我们可以考虑距离:当键足够近时，应该发生连接(尽管在我的例子中，它比距离度量稍微复杂一点)

因此，我不能通过重写equals来实现这一点，因为没有相等性(我需要为其他需求保留一个真正的相等性测试)。我想我还需要实现一个合适的分割器。

我怎么能那么做？

Answer 1

一种方法是取两个RDD的笛卡尔乘积，过滤掉不满足条件的元素。使用距离示例：

rdd1.cartesian(rdd2).filter{case (elem1, elem2) => distance(elem1,elem2) < threshold}

这是一个开销很大的操作，如果一个数据集足够小，可以对其进行优化，在这种情况下，可以通过广播来执行地图端连接。

Answer 2

将rdd转换为数据帧，然后可以像这样进行连接:

val newDF = leftDF.join(rightDF, $"col1" < ceilingVal and $"col1" > floorVal)

然后，您可以定义可以在联接中使用的UDF。所以，如果你有这样的“distanceUDF”：

val distanceUDF = udf[Int, Int, Int]((val1, val2) => val2 - val1)

然后你可以做:

val newDF = leftDF.join(rightDF, distanceUDF($"left.colX", $"right.colY") < 10)