如何在使用火花数据帧写入时自动计算 numRepartition

Question

当我尝试将数据帧写入Hive Parket分区表时

df.write.partitionBy("key").mode("append").format("hive").saveAsTable("db.table")

它将在HDFS中创建大量块，每个块只有少量数据。

我了解它是如何进行的，因为每个 spark 子任务将创建一个块，然后将数据写入其中。

我也理解，块数会提高Hadoop的性能，但达到阈值后也会降低性能。

如果我想自动设置数字分区，有人有一个好主意吗？

numPartition = ??? // auto calc basing on df size or something
df.repartition("numPartition").write
  .partitionBy("key")
  .format("hive")
  .saveAsTable("db.table")

Answer 1

默认情况下，火花将为洗牌操作创建200个分区。因此，200个文件/块（如果文件大小较小）将写入HDFS。

使用以下配置，根据Spark中的数据，配置洗牌后要创建的分区数：

spark.conf.set("spark.sql.shuffle.partitions", <Number of paritions>)

例如：spark.conf.set（"spark.sql.shuffle.partitions"，"5"），所以Spark将创建5个分区，5个文件将写入HDFS。

Answer 2

首先，当您已经在使用< code>partitionBy(key)时，为什么要有一个额外的重新分区步骤呢——您的数据将基于键进行分区。

通常，您可以按列值重新分区，这是一种常见的场景，有助于诸如reduceByKey、基于列值的筛选等操作。例如，

val birthYears = List(
  (2000, "name1"),
  (2000, "name2"),
  (2001, "name3"),
  (2000, "name4"),
  (2001, "name5")
)
val df = birthYears.toDF("year", "name")

df.repartition($"year")