将csv文件写入azure blob存储
我正在尝试使用pyspark来分析我在数据砖笔记本上的数据。Blob 存储已装载到数据砖群集上，在分析后，希望将 csv 写回 blob 存储。由于 pyspark 以分布式方式工作，csv 文件被分解为小块并写入 Blob 存储。如何克服这个问题，并在我们使用pyspark进行分析时在blob上编写为单个csv文件。谢谢。
共有1个答案
你真的想要一个文件吗？如果是，唯一可以克服的方法是将所有的小csv文件合并到一个csv文件中。您可以使用databricks集群上的map函数来合并它，也可以使用一些后台作业来完成相同的操作。
看看这里：https://forums.databricks.com/questions/14851/how-to-concat-lots-of-1mb-cvs-files-in-pyspark.html
-
问题内容： 将结构转储到提供的csv文件中的惯用golang方法是什么？我在一个func里面，我的结构作为接口{}传递： 为什么要使用界面{}？-从JSON读取数据，可能会返回一些不同的结构，因此尝试编写足够通用的函数。 我的类型的一个例子： 问题答案： 如果您使用具体类型，将会容易得多。您可能想要使用该软件包，这是一个相关示例；https://golang.org/pkg/encoding/cs
-
问题内容： 我有一个pandas数据框，我想将其写入CSV文件。我正在使用以下方法： 并得到错误： 有什么方法可以轻松解决此问题（即我的数据框中有Unicode字符）吗？有没有一种方法可以使用例如“ to-tab”方法（我认为不存在）写入制表符分隔文件而不是CSV？ 问题答案： 要用制表符分隔，可以使用参数： 要使用特定的编码（例如），请使用参数：
-
问题内容： 我有一个带有字符串键和字符串值的哈希图。它包含大量键及其各自的值。 例如： 我想将此哈希图写入一个csv文件，以便我的csv文件包含以下行： 我在这里使用supercsv库尝试了以下示例：http ://javafascination.blogspot.com/2009/07/csv-write- using-java.html 。但是，在此示例中，您必须为要添加到csv文件的每一行创
-
我在pandas中有一个数据帧，我想把它写到CSV文件中。我使用的是： 并得到错误： 有没有什么方法可以很容易地解决这个问题（例如，我的数据帧中有unicode字符）？还有，有没有一种方法可以使用“to-tab”方法（我认为不存在）写入以制表符分隔的文件，而不是CSV？
-
我正在使用pyspark，在向S3写入数据时遇到了问题，但从S3读取数据并不是问题。 这是我的代码： 这是错误： 有什么问题？
-
我使用supercsv CsvBeanWriter将值写入csv文件。 示例类： 我得到的结果是： 注意