有没有办法在spark 3.0.1中使用名称不同于part*的scala导出csv或其他文件？

Question

我用scala在spark中创建了一个二维立方体。数据来自两个不同的数据帧。名称是“borrowersTable”和“loansTable”。它们是使用“createOrReplaceTempView”选项创建的，这样就可以对它们运行sql查询。目标是在两个维度（性别和部门）上创建多维数据集，汇总图书馆的图书借阅总数。使用命令

val cube=spark.sql("""
    select 
    borrowersTable.department,borrowersTable.gender,count(loansTable.bibno)
    from borrowersTable,loansTable
    where borrowersTable.bid=loansTable.bid
    group by borrowersTable.gender,borrowersTable.department with cube;
""")

我创建了具有以下结果的立方体：

然后使用命令

<代码>立方体。写格式（“csv”）。保存（“file:///....../data/cube“”

Spark创建了一个名为cube的文件夹，其中包含34个名为part*. csv的文件，其中包括部门、性别和贷款总和（每组）的列。

这里的目标是创建以前两列（属性）的名称命名的文件：对于GroupBy（Attr1，Attr2），文件应命名为Attr1\u Attr2。

e、 g.对于（Economics，M）文件应命名为Economics\u M。对于（Mathematics，null）文件应命名为Mathematics\u null，依此类推。任何帮助都将不胜感激。

Answer 1

当您调用df.write.format（"..."）.保存（"..."）时，每个Spark执行程序都会将它保存的分区保存到相应的part*文件中。这是存储和加载大文件的机制，您无法更改它。但是，您可以尝试以下替代方案，无论在您的情况下效果更好：

1. 分区依据：

cube
  .write
  .partitionBy("department", "gender")
  .format("csv")
  .save("file:///....../data/cube")

这将创建名称为department=Physics/gender=M的子文件夹，其中仍包含part*文件。此结构稍后可以加载回Spark，并用于分区列的有效连接。

val csvRows = cube
  .collect()
  .foreach {
    case Row(department: String, gender: String, _) => 
      // just the simple way to write CSV, you can use any CSV lib here as well
      Files.write(Paths.get(s"$department_$gender.csv"), s"$department,$gender".getBytes(StandardCharsets.UTF_8))
  }

如果您调用collect（）您将在驱动程序端以数组的形式接收数据帧，然后您可以对其执行任何操作。这种方法的一个重要限制是，您的数据帧应该适合驾驶员的内存。