火花SQL：为什么火花不一直做广播

Question

我在aws s3和emr上使用Spark 2.4进行项目，我有一个左连接，有两个巨大的数据部分。火花执行不稳定，它经常因内存问题而失败。

集群有10台m3.2xlarge类型的机器，每台机器有16个vCore、30 GiB内存、160个SSD GB存储。

我有这样的配置:

          "--executor-memory",
          "6512M",
          "--driver-memory",
          "12g",
          "--conf",
          "spark.driver.maxResultSize=4g",
          "--conf",
          "spark.sql.autoBroadcastJoinThreshold=1073741824",

左侧连接发生在 150GB 的左侧和大约 30GB 的右侧之间，因此有很多随机播放。我的解决方案是将右侧切得足够小，例如 1G，这样就不会随机播放数据，而是广播数据。唯一的问题是在第一个左连接之后，左侧已经有右侧的新列，所以接下来的左侧连接将有重复列，如col1_right_1、col2_right_1、col1_right_2、col2_right_2，我必须将 col1_right_1/col1_right_2 重命名为 col1_left， col2_right_1/col2_right_2 至 col2_left。

所以我想知道，为什么Spark允许随机播放，而不是到处使用广播。广播不应该总是比随机播放快吗？为什么Spark不像我说的那样加入，切成一小块然后广播？

Answer 1

让我们看看这两个选项。如果我理解正确，您正在为数据框架的每一部分执行广播和连接，其中块的大小是最大广播阈值。这里的优势是，您基本上通过网络发送只有一个数据框架，但您正在执行多个连接。要执行的每个连接都有一个开销。从：

广播的数据集在执行器计算机上可用后，它将与其他数据集的每个分区联接。也就是说，对于其他数据集的每一行（在每个分区中）的连接列的值，将从广播数据集中提取相应的行并执行连接。

这意味着，对于每批广播联接，在每个分区中，您必须查看整个其他数据集并执行联接。

排序合并或哈希连接必须执行随机（如果数据集分区不相等），但它们的连接效率更高。