Spark 在加载 Hive 表时创建的分区数

Question

即使它是Hive表或HDFS文件，当Spark读取数据并创建数据帧时，我也在想RDD /数据帧中的分区数将等于HDFS中的部分文件数。但是，当我使用 Hive 外部表进行测试时，我可以看到该数字与 部件文件的数量 不同。数据帧中的分区数为 119。该表是一个 Hive 分区表，其中包含 150 个部分文件，最小文件大小为 30 MB，最大大小为 118 MB。那么是什么决定了分区的数量呢？

Answer 1

每个块的块大小为128MB。斯帕克将读取数据。假设您的配置单元表大小为 aprrox 14.8 GB，那么它将配置单元表数据划分为 128 MB 块，并生成 119 个分区。

另一方面，您的hive表被分区，因此分区列有150个唯一值。

因此，配置单元中的部件文件数和 spark 中的分区数没有链接。

Answer 2

我认为这个链接确实回答了我的问题。分区的数量取决于拆分的数量，拆分的数量取决于hadoop输入格式。https://intellipaat.com/community/7671/how-does-spark-partition-ing-work-on-files-in-hdfs

Answer 3

您可以通过设置Spark.sql.files.maxPartitionBytes来控制Spark打包到单个分区中的字节数。默认值为128 MB，请参阅Spark Tuning。