当在磁盘上写入时，我们如何通过重新分区来停止增加parquet文件的大小

Question

我正在尝试合并hdfs目录中小于512 mb的小文件。合并后，磁盘上的文件大小超过输入大小。有什么方法可以高效的控制大小。

Df=spark.read.parquet("/./")
Magic_number=(total size of input file / 512)

Df.repartition(Magic_number).write.save("/./")

重新分区导致了大量的混乱，输入文件是拼花格式的。

Answer 1

import org.apache.spark.util.SizeEstimator
val numBytes = SizeEstimator.estimate(df)

val desiredBytesPerFile = ???

df.coalesce(numBytes / desiredBytesPerFile).write.save("/./")

这将为您提供每个文件的大致写入字节数。