Spark如何仅在分区内连接

Question

我有两个大的数据帧。每一行都有lat/lon数据。我的目标是在两个数据帧之间进行连接，并找到距离内的所有点，例如100m。

df1: (id, lat, lon, geohash7)
df2: (id, lat, lon, geohash7)

我想在geohash7上对df1和df2进行分区，然后只在分区内连接。我希望避免分区之间的连接以减少计算。

df1 = df1.repartition(200, "geohash7")
df2 = df2.repartition(200, "geohash7")

df_merged = df1.join(df2, (df1("geohash7")===df2("geohash7")) & (dist(df1("lat"),df1("lon"),df2("lat"),df2("lon"))<100) )

所以基本上加入geohash7，然后确保点之间的距离小于100。问题是，Spark实际上会交叉连接所有数据。如何使其只执行分区间连接而不执行分区内连接？

Answer 1

在玩了很多数据之后，spark似乎足够聪明，可以首先确保在相等条件（“geohash7”）下进行连接。因此，如果没有匹配，它就不会计算“dist”函数。同样，在相等条件下，它不再进行交叉连接。所以我不需要做其他事情。上面的连接很好。