在pyspark中编写拼花时放下分区列

Question

我有一个带有日期列的数据框架。我已将其解析为年、月、日列。我想对这些列进行分区，但我不希望这些列保留在拼花文件中。

下面是我对数据进行分区和写入的方法：

df = df.withColumn('year', f.year(f.col('date_col'))).withColumn('month',f.month(f.col('date_col'))).withColumn('day',f.dayofmonth(f.col('date_col')))

df.write.partitionBy('year','month', 'day').parquet('/mnt/test/test.parquet')

这将正确创建拼花文件，包括嵌套的文件夹结构。但是，我不希望在拼花文件中包含年、月或日列。

Answer 1

如果使用df。写分区依据（“年”、“月”、“日”）。

这些列实际上并不存储在文件数据中。它们只是通过创建的文件夹结构进行渲染。

例如，<代码>分区（'年'）。csv（“/数据”）将创建如下内容：

/data/year=2018/part1---.csv
/data/year=2019/part1---.csv

当您读回数据时，它使用特殊路径年=xxx来填充这些列。

您可以通过直接读取单个分区的数据来证明这一点。

例如，在这种情况下，<代码>年份将不会是一列。

df = spark.read.csv("data/year=2019/")
df.printSchema()

还有@Shu的回答可以用来调查。

您可以安全睡眠，确保这些列不会占用存储空间。

如果您真的不想简单地查看列，您可以在此表顶部放置一个排除这些列的视图。

Answer 2

Spark/Hive不会在拼花文件中写入年、月、日列，因为它们已经在分区By子句中。

例子：

val df=Seq((1,"a"),(2,"b")).toDF("id","name")
df.coalesce(1).write.partitionBy("id").csv("/user/shu/temporary2") //write csv file.

正在检查csv文件的内容：

hadoop fs -cat /user/shu/temporary2/id=1/part-00000-dc55f08e-9143-4b60-a94e-e28b1d7d9285.c000.csv

输出：

a

正如您所看到的，csv文件中没有包含id值，就像您编写拼花文件分区列不包含在part-*中一样。拼花文件。

要检查拼花地板文件的架构，请执行以下操作：

parquet-tools schema <hdfs://nn:8020/parquet_file>

您还可以验证拼花文件中包含的所有列。