Spark数据帧中的分区和群集

Question

我们有没有可能在Spark中先按一列分区，然后再按另一列聚类？

在我的例子中，我在一个有数百万行的表中有一个< code>month列和一个< code>cust_id列。我可以说，当我将数据帧保存到hive表中，以便根据月份将该表分区，并按< code>cust_id将该表聚类成50个文件吗？

忽略按< code>cust_id的聚类，这里有三个不同的选项

df.write.partitionBy("month").saveAsTable("tbl")
df.repartition(100).write.partitionBy("month").saveAsTable("tbl")
df.repartition("month").write.saveAsTable("tbl")

第一种情况和最后一种情况在 Spark 的功能上相似，但我认为它只是在 Hive（文件夹而不是每个月的文件）中以不同的方式写入数据。

在第二个选项中，重新分区由< code>partitionBy撤消，不是吗？

我怎样才能至少避免这种情况？

通过在Spark中指定多个桶，甚至可以通过高基数列来进行重新分区吗？

Answer 1

只是为了让其他不想修补或编写 SQL 插入语句的人知道，但是在数据帧上使用重新分区然后使用 partitionBy 实际上可以按照我想要的方式工作，而不是按照我的预期工作。

也就是说，它首先按键分区，然后再按数字重新分区。

示例:

df.repartition(100).write.partitionBy("month").saveAsTable("tbl")

在每个分区内生成100个大小大致相等的文件，其中为hive上的结果表中每个月的不同值创建了一个文件夹（分区）。

Answer 2

我们有没有可能在Spark中先按一列分区，然后再按另一列聚类？

这是可能的，但重新分区在这里对您没有帮助。

df.write
  .partitionBy("month")
  .clusterBy(50, "id")
  .saveAsTable("tbl")

相当于：

CREATE TABLE users_bucketed_and_partitioned(
 month T,
 id U
) USING parquet 
PARTITIONED BY (month)
CLUSTERED BY(id) INTO 50 BUCKETS;

请纠正它与 Hive 不兼容，并且似乎具有如此意想不到的性能影响。