为什么Spark会输出一组csv，或者只输出一个csv？

Question

上周，我很难从Spark获得数据，最后我不得不接受

df.toPandas().to_csv('mycsv.csv')

出了这个答案。

我测试了更原生的

df.write.csv('mycsv.csv')

对于Spark 2.0，但根据下面的注释，它会删除一组csv文件，而不是需要连接的文件，无论这在上下文中意味着什么。它还将一个空文件放入名为“成功”的目录中。目录名是 /mycsv/，但csv本身有一个由一长串字符组成的难以理解的名称。

这是我第一次听说这样的事情。Excel有多个选项卡，这些选项卡必须以某种方式反映在中。xls文件和NumPy数组可以是多维的，但我认为csv文件只是一个标题，值按行用逗号分隔为列。

另一个答案是：

query.repartition(1).write.csv("cc_out.csv", sep='|')

因此，这只会删除一个文件和一个空白的“success”文件，但该文件仍然没有您想要的名称，目录有。

有没有人知道Spark为什么要这样做，为什么它不简单地输出csv，它如何命名csv，成功文件应该包含什么，以及连接csv文件是否意味着在这里垂直连接它们，从头到尾。

Answer 1

这主要是因为Spark根据数据划分的分区数转储文件。因此，每个分区只需单独转储自己的文件。可以使用合并选项将它们保存到单个文件中。有关详细信息，请查看此链接。

然而，这种方法的缺点是需要收集主节点中的所有数据，因此主节点应该包含足够的内存。在这个答案中可以看到一个解决方法。

此链接还提供了有关Spark这种行为的更多信息：

Spark就像Hadoop——事实上使用Hadoop——来执行将数据输出到HDFS等操作。当您第一次尝试保存“all-the-data.csv”时，您会知道我的意思，并惊讶地发现一个名为all-the-data.csv/的目录包含一个0字节_SUCCESS文件，然后为参与作业的每个分区提供几个part-0000n文件。

Answer 2

有人知道Spark为什么这么做，为什么它不简单地输出csv，

因为它是为分布式计算而设计的，其中每个数据块（即分区）都是独立于其他数据块编写的。

它如何命名csv

名称取决于分区号。

成功文件应该包含什么

没有什么它只是表示成功。

Answer 3

Spark输出多个CSV有几个原因：
-Spark在分布式集群上运行。对于大型数据集，所有数据可能无法适应一台机器，但它可以适应一群机器。要编写一个CSV，所有数据大概必须在一台机器上并由一台机器写入，这可能是一台机器无法做到的。
-Spark旨在提高速度。如果数据位于5个执行器的5个分区上，那么并行编写5个CSV是有意义的，而不是将所有数据移动到单个执行器并让一个执行器写入整个数据集。

如果您需要一个CSV，我的假设是您的数据集不是超大的。我的建议是将所有CSV文件下载到一个目录中，然后运行cat*。csv