Spark性能问题vs Hive

Question

我正在开发一条每天都会运行的管道。它包括连接两个表，比如x

以下是关于环境的事实，

对于表x：

• 数据大小：18 MB
• 分区中的文件数：~191
• 文件类型：拼花地板

对于表y：

< li >数据大小:1.5 GB < li >一个分区中的文件数:~3200 < li >文件类型:拼花地板

现在的问题是：

我尝试了不同的资源组合的火花工作。

例如。：

• 执行者：50内存：20GB内核：5
• 执行者：70内存：20GB内核：5
• html" target="_blank">执行者：1内存：20GB内核：5

所有三个组合都提供了相同的性能。我不确定我在这里错过了什么。

我还尝试广播小表“x”，以避免在连接时出现随机播放，但性能没有太大提高。

一个关键的观察结果是:

70%的执行时间用于读取大表“y”，我想这是由于每个分区有更多的文件。

我不知道hive是如何给出同样的性能的。

恳请建议。

Answer 1

我想你是在比较MR和Spark的Hive。如果不是这样，请告诉我。因为Hive（基于tez或spark）与spark Sql在性能方面不会有太大差异

我认为主要问题是小文件太多。I/O本身消耗了大量的CPU和时间，因此您无法体验Spark的处理能力。

我的建议是在读取镶木地板文件后立即合并火花数据帧。请将“x”数据帧合并到单个分区中，将“y”数据帧合并到6-7个分区中。

完成上述操作后，请执行join(broadcastHashJoin)。