Spark CSV 2.1文件名
我正在尝试使用新的spark 2.1 CSV选项将数据帧保存到CSV中
df.select(myColumns: _*).write
.mode(SaveMode.Overwrite)
.option("header", "true")
.option("codec", "org.apache.hadoop.io.compress.GzipCodec")
.csv(absolutePath)
一切都很好，我不介意使用part-000XX前缀，但现在似乎添加了一些UUID作为后缀
i.e
part-00032-10309cf5-a373-4233-8b28-9e10ed279d2b.csv.gz ==> part-00032.csv.gz
任何人都知道我如何删除此文件ext并只保留part-000XX Convention
谢啦
共有1个答案
您可以通过覆盖配置选项“spark.sql.sources.writeJobUUID”来删除UUID：
https://github.com/apache/spark/commit/0818fdec3733ec5c0a9caa48a9c0f2cd25f84d13#diff-c69b9e667e93b7e4693812cc72abb65fR75
不幸的是，此解决方案不会完全反映旧的saveAsTextFile样式（即part-00000），但可能会使输出文件名更加合理，例如part-00000-output.csv.gz其中“输出”是传递给spark.sql.sources.writeJobUUID的值。“-”会自动附加
SPARK-8406是相关的SPARK问题，下面是实际的拉动请求：https://github.com/apache/spark/pull/6864
-
问题内容： 我想更改特定文件夹中文件的扩展名。我在论坛上阅读了有关此主题的信息。使用“确实”的想法，我编写了以下代码，我希望它可以工作，但不能。我很感谢您为我的失误提供任何指导。 问题答案： 在对源文件是不必要的，因为只需要在源和目标路径来完成这项工作。而且，始终返回，因此调用其返回值没有任何意义。 我简单地删除了两个。检查是否适合您。
-
问题内容： 我需要使用文件夹中文件的所有名称创建一个列表。 例如，如果我有： 我想将它们存储为 with 作为值。 用Java做到最好的方法是什么？ PS：我在Mac OS X上 问题答案： 你可以这样做： 你只想获取JPEG文件还是所有文件？
-
我有一个包含10个图像的文件夹，我希望根据其当前文件名将其移动到一个新文件夹中。我已经成功地将文件夹中的每个图像移动到了一个新文件夹中，到目前为止，我已经成功地将每个图像文件名移动到了它自己的文件夹中，但我还没有弄清楚如何将具有相同文件名的所有图像移动到一个文件夹中，然后将另一个移动到另一个文件夹中。例如，下面我想相应地移动图像。 1600_01.jpg--- 到目前为止，这是我的代码，通过根据图
-
问题内容： 我正在使用纯Javascript开发文本编辑器。我想要这样，以便当用户单击“保存”按钮时，编辑器将下载文件。我已经部分工作了： 该文件已下载，但问题在于该文件名为“ download”。 问题 ：如何将文件名更改为所需的任何名称，例如？ 问题答案： 用锚链接替换“保存”按钮，并动态设置新属性。适用于Chrome和Firefox：
-
这个问题是本文的后续内容：Python-根据子文件夹和文件名重命名子文件夹中的文件。 我正在尝试遍历中子文件夹中的文件，并以指定的方式重命名每个文件。以下是我目前掌握的代码： 当我运行该行时，，它正确地显示保存在中的名为的文件将被重命名为。 但是，os.rename命令返回以下错误： "必须是字符串，而不是列表。" 这似乎是由于我在os.rename命令中使用了“文件名”。据我所知，os.rena
-
问题内容： 我有一个包含文件夹结构的zip文件，例如 主文件夹/ subFolder1 / subFolder2 / subFolder3 / 文件3.1 文件3.2 我想使用Java 重命名文件夹，例如在该zip文件中。 有没有比提取整个zip文件并使用新的文件夹名称重新创建一个新的方法更简单的方法？ 问题答案： Zip是一种存档格式，因此变异通常涉及重写文件。 zip的某些特殊功能也会受阻（z
-
在我的项目中，我正在上传一个文件。上传时，我将其原始文件名和扩展名保存在数据库中，并将该文件与一些一起保存在服务器上，生成的GUID也与文件名和扩展名一起存储在数据库中。 比如-- -用于上载的文件名为Questions.docx -则orignalFileName将为“问题” -文件扩展名将为“.docx” -上传文件，文件名为“0C1B96D3-AF54-40D1-814D-B863B7528
-
问题 你需要写一个涉及到文件查找操作的脚本，比如对日志归档文件的重命名工具， 你不想在Python脚本中调用shell，或者你要实现一些shell不能做的功能。 解决方案 查找文件，可使用 os.walk() 函数，传一个顶级目录名给它。 下面是一个例子，查找特定的文件名并答应所有符合条件的文件全路径： #!/usr/bin/env python3.3 import os def findfil