如何均匀分布数据集以避免倾斜连接（和长时间运行的任务）？

Question

我写的应用程序使用火花数据集API在数据库笔记本。

我有两个表。一个是15亿行，第二个250万。两个表都包含电信数据，连接使用国家代码和数字的前5位数字完成。输出有550亿行。问题是我有倾斜的数据（长时间运行的任务）。无论我如何重新分区数据集，我都会因为散列键的不均匀分布而得到长时间运行的任务。

我尝试使用广播连接，尝试在内存中持久化大表分区等。。。。。

我有什么选择？

Answer 1

Spark将根据连接键重新分区数据，因此在连接之前重新分区不会改变歪斜（只会添加不必要的洗牌）

如果您知道导致倾斜的键（通常是 null 或 0 或 “” 之类的东西），请将数据分成 2 部分 - 1 个数据集使用倾斜键，另一个数据集使用其余部分

对子数据集进行连接，并合并结果

例如:

val df1 = ...
val df2 = ...
val skewKey = null

val df1Skew = df1.where($"key" === skewKey)
val df2Skew = df2.where($"key" === skewKey)

val df1NonSkew = df1.where($"key" =!= skewKey)
val df2NonSkew = df2.where($"key" =!= skewKey)

val dfSkew    = df1Skew.join(df2Skew) //this is a cross join
val dfNonSkew = df1NonSkew.join(df2NonSkew, "key")

val res = dfSkew.union(dfNonSkew)