提高Spark反规范化/分区性能

Question

我有一个非规范化用例——一个hiveavro事实表与14个较小的维度表连接，生成一个非规格化拼花输出表。输入事实表和输出表都以相同的方式进行分区（Category=TEST1，YearMonthId=202101）。我确实运行历史处理，这意味着一次处理并加载给定类别的几个月。

我使用的是Spark 2.4.0/pyspark数据帧，所有表连接的广播连接，动态分区插入，最后使用colasce来控制输出文件的数量。（在最后一个阶段看到一次洗牌可能是因为动态分区插入）

想知道在管理分区方面可能的优化——比如从输入到输出阶段保持分区的一致性，这样就不会涉及混洗。希望利用输入和输出存储表由相同列分区的事实。

我也在考虑这个问题——通过确定分区来使用静态分区写，并并行写入分区——这会有助于加速或避免混乱吗？

感谢任何能引导我走向正确方向的帮助。

Answer 1

下面我尝试的几个选项提高了性能（两次都避免小文件）。

>

在广播连接之前尝试在数据帧中使用重新分区（而不是合并），这最大限度地减少了洗牌，从而减少了洗牌溢出。-重新分区（计数，*分区列列表，任何其他Salting列）（如果重新分区不是偶数，则添加加盐列）

确保基表被正确压缩。在某些情况下，这甚至可能消除对#1的需求，并减少任务的#，从而减少由于任务调度而导致的开销。