按列进行火花重新分区，每个列的分区数是动态的

Question

如何根据列中项数的计数来分区DataFrame。假设我们有一个包含100人的DataFrame（列是first_name和country)，我们希望为一个国家中的每10个人创建一个分区。

如果我们的数据集包含来自中国的80人，来自法国的15人，来自古巴的5人，那么我们需要8个分区用于中国，2个分区用于法国，1个分区用于古巴。

下面是无法工作的代码：

null

有什么方法可以动态设置每个列的分区数吗？这将使创建分区数据集变得更加容易。

Answer 1

由于spark对数据进行分区的方式，您将无法准确地实现这一目标。Spark获取在重新分区中指定的列，将该值散列到64B的长度中，然后对该值进行分区数的模运算。这样，分区的数量是确定的。它以这种方式工作的原因是，除了确保两边的散列相同之外，联接还需要在联接的左侧和右侧匹配数量的分区。

“我们希望在一个国家为每10个人创建一个分区。”

你到底想在这里完成什么？在一个分区中只有10行可能会对性能造成不良影响。您是否试图创建一个分区表，其中分区中的每个文件都被保证只有x行数？

  def repartition(partitionExprs: Column*): Dataset[T] = {
    repartition(sparkSession.sessionState.conf.numShufflePartitions, partitionExprs: _*)
  }

“df.repartition（8,$”country“,rand）：这将为每个国家创建最多8个分区，因此它应该为中国创建8个分区，但法国和古巴的分区未知。法国可能在8个分区中，古巴可能在5个分区中。有关详细信息，请参阅此答案。”

就像明智一样，这是微妙的错误。只有8个分区，国家基本上在这8个分区中随机洗牌。