将Spark DataFrame的内容保存为单个CSV文件[重复]

Question

假设我有一个Spark数据框，我想将其另存为CSV文件。在Spark 2.0.0之后，DataFrameWriter类直接支持将其保存为CSV文件。

默认行为是将输出保存在多个部分-*。提供的路径中的csv文件。

如何使用以下选项保存DF：

1. 路径映射到确切的文件名，而不是文件夹
2. 首行可用标题
3. 另存为单个文件，而不是多个文件

处理它的一种方法是合并DF，然后保存文件。

df.coalesce(1).write.option("header", "true").csv("sample_file.csv")

然而，这在将其收集到主机上时存在缺点，需要有一个具有足够内存的主机。

是否可以在不使用合并的情况下编写单个CSV文件？如果没有，是否有比上述代码更有效的方法？

Answer 1

df.coalesce(1).write.option("inferSchema","true").csv("/newFolder",header = 
'true',dateFormat = "yyyy-MM-dd HH:mm:ss")

Answer 2

使用：df.toPandas（）。to_csv（"sample_file.csv"，标头=True）

有关详细信息，请参阅文档：https://spark.apache.org/docs/latest/api/python/pyspark.sql.html?highlight=dataframe#pyspark.sql.DataFrame.toPandas

Answer 3

我自己用pyspark和dbutils解决了这个问题。csv并重命名为所需的文件名。

save_location= "s3a://landing-bucket-test/export/"+year
csv_location = save_location+"temp.folder"
file_location = save_location+'export.csv'

df.repartition(1).write.csv(path=csv_location, mode="append", header="true")

file = dbutils.fs.ls(csv_location)[-1].path
dbutils.fs.cp(file, file_location)
dbutils.fs.rm(csv_location, recurse=True)

这个答案可以通过不使用[-1]来改进，但可以使用。csv似乎总是文件夹中的最后一个。如果您只处理较小的文件，并且可以使用重新分区（1）或合并（1），那么就可以使用简单而快速的解决方案。