使用dataframe scala创建一个以时间戳为文件名的csv文件

Question

我有一个数据框架，数据如下。

+---------------+-------+
|category       |marks  |
+---------------+-------+
|cricket        |1.0    |
|tennis         |1.0    |
|football       |2.0    |
+---------------+-------+

我想将上面的数据帧写入csv文件，其中将使用当前时间戳创建文件名。

generatedDataFrame.write.mode ("append")
    .format("com.databricks.spark.csv").option("delimiter", ";").save("./src/main/resources-"+LocalDateTime.now()+".csv")

但此代码工作不正常。给出以下错误

java.io.IOException: Mkdirs failed to create file

有没有更好的方法来实现这一点，使用scala和火花？此外，即使我试图创建文件与时间戳代码是创建一个目录与时间戳和在该目录内的csv与数据创建一个随机名称.我怎么能有时间戳文件名到这些csv文件，而不是创建一个目录？

Answer 1

您应该使用src/main/资源，而不是./src/main/资源。您可以从命令行检查目录创建的权限。此外，直接在路径中使用LocalDateTime.now将类似于“2021-03-01T13:39:09.646”，不确定这是否是您想要的，甚至它是否对HDFS路径有效（像 [:]), 这样的字符也建议使用日期格式。

Answer 2

DF。写csv将始终使用指定的名称创建一个文件夹，并将输出的csv文件放置在该文件夹中。

如果您想要单个csv文件作为名称为时间戳的输出，那么您可以使用以下代码：

import java.text.SimpleDateFormat
import java.util.Date
import org.apache.spark.sql._
import org.apache.hadoop.fs.{FileSystem, Path}

val spark = SparkSession.builder().master("local[*]").getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

val fs = FileSystem.get(spark.sparkContext.hadoopConfiguration)

generatedDataFrame.coalesce(1).write.mode("append").csv("./src/main/resources/outputcsv/")

val outFileName = fs.globStatus(new Path("./src/main/resources/outputcsv/part*"))(0).getPath.getName

val timestamp = new SimpleDateFormat("yyyyMMddHHmm").format(new Date())

fs.rename(new Path(s"./src/main/resources/outputcsv/$outFileName"), new Path(s"./src/main/resources/outputcsv/${timestamp}.csv"))