使用附加写入模式将新数据写入现有拼花文件
我正在使用下面的代码片段来保存数据。它只会在同一分区文件夹下创建一个新的拼花地板文件。是否有任何方法可以将数据真正附加到现有的拼花地板文件中。所以，如果一天中有许多附件，我们就不会有多个文件？
<代码>测向。聚结（1）。写模式（“追加”）。partitionBy（“paritionKey”）。拼花地板（“…\parquet\u file\u folder\”）
非常感谢你的帮助。
共有1个答案
从这里看到答案：如何在HDFS中附加到相同的文件（火花2.11）
“在Spark中附加意味着写入现有目录而不是附加到文件。
这是有意的和期望的行为（想想如果进程在“附加”过程中失败会发生什么，即使格式和文件系统允许）。
如有必要，合并文件等操作应由单独的进程应用，以确保正确性和容错性。不幸的是，这需要一份完整的副本，由于明显的原因，不需要逐批提供。"
-
我试图做一些非常简单的事情，我有一些非常愚蠢的挣扎。我想这一定与对火花的基本误解有关。我非常感谢任何帮助或解释。 我有一张非常大的桌子（~3 TB，~300毫米行，25k个分区），在s3中保存为拼花地板，我想给一些人一个很小的拼花文件样本。不幸的是，这要花很长时间才能完成，我不明白为什么。我尝试了以下方法： 然后当这不起作用时，我尝试了这个，我认为应该是一样的，但我不确定。（我添加了，以尝试调试。
-
我正试图在模式下将写入文件格式（在最新的pandas版本0.21.0中引入）。但是，文件将被新数据覆盖，而不是附加到现有文件。我错过了什么？ 写入语法是 读取语法是
-
我有一个很大的数据框，我正在HDFS中写入拼花文件。从日志中获取以下异常： 谷歌对此进行了搜索，但找不到任何具体的解决方案。将推测设置为false:conf.Set（“spark.投机”，“false”） 但仍然没有帮助。它只完成了几个任务，生成了几个零件文件，然后突然因此错误而停止。 详细信息：Spark版本：2.3.1（这在1.6x中没有发生） 只有一个会话正在运行，这排除了不同会话访问同一位
-
我正在使用Apache Spark生成拼花文件。我可以按日期划分它们，没有问题，但在内部我似乎无法按正确的顺序排列数据。 在处理过程中，顺序似乎丢失了，这意味着拼花地板元数据是不正确的（具体来说，我想确保拼花地板行组反映排序顺序，以便特定于我的用例的查询可以通过元数据有效地过滤）。 考虑以下示例： 使用这种方法，我确实得到了正确的拼花地板分区结构(按日期)。更好的是，对于每个日期分区，我看到一个大
-
问题内容： 如果“文件名”不存在，我想使用pd.write_csv写入“文件名”（带有标题），否则，如果存在“文件名”，则附加到文件名中。如果我只使用命令： 写入或追加成功，但似乎每次进行追加时都会写入标头。 如果文件不存在，如何只添加标题，如果文件存在，如何不添加标题而追加标题？ 问题答案： 不确定熊猫是否有办法，但是检查文件是否存在将是一种简单的方法：
-
我有保存在表中的数据（我已经从一个文件中收集了它），我想用java把它写在Excel xls文件中 我只共享主类，因为它显示了我如何将数据保存在表中