Spark仅保存（写入）拼花地板一个文件

Question

如果我写信

dataFrame.write.format("parquet").mode("append").save("temp.parquet")

临时工。拼花文件夹我得到了和行号相同的文件号

我想我不太了解拼花地板，但它是自然的吗？

Answer 1

虽然前面的答案是正确的，但你必须理解重新分区或合并到单个分区后的重新聚焦。您的所有数据都必须传输到单个工作人员，以便立即将其写入单个文件。

正如互联网上反复提到的那样，尽管执行计划中添加了洗牌步骤，但在这种情况下，您应该使用重新分区。这一步有助于使用集群的功能，而不是按顺序合并文件。

至少有一个替代方案值得一提。您可以编写一个简单的脚本，将所有文件合并到一个文件中。这样，您将避免向集群的单个节点产生大量流量。

Answer 2

您可以将分区设置为1以保存为单个文件

dataFrame.repartition(1).write.format("parquet").mode("append").save("temp.parquet")

Answer 3

在写操作之前使用合并

数据帧。合并（1）。写格式（“拼花”）。模式（“附加”）。保存（“临时拼花”）

编辑-1

仔细观察，文档确实警告了合并

但是，如果您正在进行剧烈合并，例如to numPartitions=1，这可能会导致您的计算在较少的节点上进行（例如，在numPartitions=1的情况下为一个节点）

因此，正如@Amar所建议的，最好使用重新分区