如何使用Spark在加入（广播）和收集之间进行选择

Question

我用的是Spark 2.2.1。

我有一个小数据帧(不到1M ),我在一个大数据帧上有一个计算，需要这个小数据帧来计算UDF中的一列。

关于性能的最佳选择是什么

广播这个DF更好吗（我不知道Spark是否会将笛卡尔放入内存）。

bigDF.crossJoin(broadcast(smallDF))
     .withColumn(udf("$colFromSmall", $"colFromBig"))

或者收集它并直接在udf中使用小值

val small = smallDF.collect()
bigDF.withColumn(udf($"colFromBig"))

Answer 1

两者都会首先收集数据，因此在内存占用方面没有区别。所以选择应该由逻辑决定：

< li >如果您可以做得比默认执行计划更好，并且不想创建自己的执行计划，则< code>udf可能是更好的方法。 < li >如果它只是一个笛卡尔坐标，并且需要后续的< code>explode -尽管如此，还是使用前一个选项。

正如T. Gawenda在第二种情况下的评论中所建议的，您可以使用广播

val small = spark.spark.broadcast(smallDF.collect())
bigDF.withColumn(udf($"colFromBig"))

如果重用< code>udf,可能会提高一些性能。