spark的最佳值应该是多少。sql。洗牌分区，或者在使用Spark SQL时如何增加分区？

Question

我实际上使用的是Spark SQLhiveContext。sql（）使用group by查询，我遇到了OOM问题。所以考虑增加火花的价值。sql。洗牌分区从默认的200到1000，但这没有帮助。

我相信这个分区会共享数据洗牌负载，所以分区越多，需要保存的数据就越少。我是新手。我使用的是Spark 1.4.0，我有大约1TB的未压缩数据要使用hiveContext进行处理。sql（）按查询分组。

Answer 1

这实际上取决于您的数据和查询，如果Spark必须加载1Tb，则说明您的设计有问题。

使用superbe web UI查看DAG，即Spark如何将SQL查询转换为作业/阶段和任务。

有用的指标是“输入”和“洗牌”。

• 对数据进行分区（蜂窝/目录布局，如/year=X/month=X）

而且，OOM可能会发生在你的司机身上？

-

Answer 2

好的，所以我认为你的问题更普遍。它不特定于SparkSQL，它是Spark的一个普遍问题，当文件很少时，它忽略了你告诉它的分区数量。除非调用重新分区，否则Spark的分区数似乎与HDFS上的文件数相同。因此调用重新分区应该可以工作，但需要注意的是会导致不必要的洗牌。

我不久前提出了这个问题，但仍然没有得到一个好的答案：(

Spark：增加分区的数量而不引起混乱？

Answer 3

如果洗牌时内存不足，请尝试设置spark。sql。洗牌分区至2001年。

当分区数大于2000时，Spark使用不同的数据结构进行洗牌记账：

private[spark] object MapStatus {

  def apply(loc: BlockManagerId, uncompressedSizes: Array[Long]): MapStatus = {
    if (uncompressedSizes.length > 2000) {
      HighlyCompressedMapStatus(loc, uncompressedSizes)
    } else {
      new CompressedMapStatus(loc, uncompressedSizes)
    }
  }
...

我真的希望他们能让你独立配置。

顺便说一下，我在Cloudera的幻灯片中找到了这些信息。