使用spark-csv编写单个CSV文件
共有1个答案
它正在创建一个包含多个文件的文件夹，因为每个分区都是单独保存的。如果需要单个输出文件（仍在文件夹中），可以重新分区（如果上游数据很大，则首选，但需要洗牌）：
df
.repartition(1)
.write.format("com.databricks.spark.csv")
.option("header", "true")
.save("mydata.csv")
或合并:
df
.coalesce(1)
.write.format("com.databricks.spark.csv")
.option("header", "true")
.save("mydata.csv")
保存前的数据帧：
-
问题内容： 我试图在Windows计算机上使用Python 3.2编写一个简单的CSV文件，但是我没有运气。从Python 3.2 的csv模块文档中： 产生一个文件，该文件的每一行都以字节序列结尾，因此当您使用MS Excel等打开文件时，每行看起来都有一个多余的空行。这不是“ CSV文件”。 请注意，如果我在Python 3.2中尝试相同的Python 2.7示例（最大的区别在于文件模式与vs
-
我是Spark的新手，我正在尝试使用Spark从文件中读取CSV数据。以下是我正在做的： 我希望这个调用会给我一个文件前两列的列表，但我遇到了以下错误： 索引器中第1行的文件“”：列表索引超出范围 虽然我的CSV文件不止一列。
-
我在PHP中有一个CSV字符串，它被mb_detect_编码检测为UTF8。此字符串将写入文件。当我在文本编辑器（程序员记事本）中打开它时，编辑器会说它是UTF8无标记的，当我将编码更改为ANSI时，它会在Excel中正确打开。我想用ANSI编写这个文件，这样在Excel中打开它之前就不必在文本编辑器中进行转换。尝试使用以下命令： utf8_解码（$xhtml） iconv（“UTF-8”、“Wi
-
我正在尝试使用spack-csv从spack-shell中的aws s3读取csv。 下面是我所做的步骤。使用下面的命令启动spack-shell 箱子/火花壳——包装com。数据块：spark-csv\u 2.10:1.2.0 在shell中，执行以下scala代码 获取以下错误 我在这里错过了什么？请注意，我可以使用 同样的scala代码在databricks笔记本中也可以正常工作 在spar
-
我正在尝试使用pysparkn和spack-csv使用以下代码将火花数据帧写入s3 但是，我得到的错误是“输出目录已经存在”，我确信输出目录在作业开始之前不存在，我尝试使用不同的输出目录名称运行，但写入仍然失败。 如果我在作业失败后查看s3桶，我发现很少有零件文件是由火花写入的，但当它尝试写入更多时它失败了，脚本在本地运行良好，我在aws集群上使用10个火花执行器。有人知道这段代码有什么问题吗？