使用Java将Spark RDD保存到本地文件系统
我有使用Spark生成的RDD。现在，如果我将此RDD写入csv文件，则可以使用“
saveAsTextFile（）”之类的一些方法，该方法将csv文件输出到HDFS。
我想将文件写入本地文件系统，以便我的SSIS进程可以从系统中选择文件并将它们加载到DB中。
我目前无法使用sqoop。
除了编写Shell脚本之外，Java中是否还有其他地方可以做到这一点？
需要任何清晰度，请告知。
问题答案：
saveAsTextFile能够采用本地文件系统路径（例如file:///tmp/magic/...）。但是，如果您在分布式集群上运行，则很可能要将collect()数据返回到集群，然后使用标准文件操作将其保存。
-
我正在尝试使用javascript（前端）和Java（后端）在服务器磁盘上保存一个文件。 JavaScript： 在javascript中，我有一个函数将文件分块并通过Ajax发送给Java。 null null 这是我第一次在Java编程，所以如果你有什么建议，请告诉我。 我试图在Java中创建一个函数，将ajax发送的块保存在TXT中。当javascript检测到最后一个块时，我想用Java将
-
问题内容： 假设我有一个如下所示的javascript对象： 我将其字符串化以转换为JSON。如何将此JSON保存到本地文本文件，以便可以在记事本等中打开它。 问题答案： Node.js： 浏览器（webapi）：
-
问题内容： 在Java中，我来自一个名为“ text”的String变量中的文本字段中的文本。 如何将“文本”变量的内容保存到文件中？ 问题答案： 如果你只是输出文本，而不是任何二进制数据，则可以执行以下操作： 然后，将String写入其中，就像写入任何输出流一样： 与以往一样，你将需要异常处理。完成写作后，请务必致电。 如果你使用的是Java 7或更高版本，则可以使用“ 语句 ”，该语句将Pri
-
我们正在上运行spark 2.3.0。以下“”不是空的，大小适中： 以下代码可以很好地将写入： 然而，使用相同的代码写入本地< code>parquet或< code>csv文件最终会得到空结果: 我们可以看到它失败的原因： 因此，没有正在写入镶木地板文件。 我已经对< code>csv和< code>parquet以及两个不同的< code>EMR服务器尝试了大约二十次:在所有情况下都表现出相同
-
问题内容： 我想知道如何将PHP变量保存到txt文件，然后再次检索它们。 例： 有一个输入框，提交后，在输入框中写入的内容将保存到文本文件中。稍后，需要将结果作为变量返回。因此，可以说变量是$ text，我需要将其保存到文本文件中并能够再次取回它。 问题答案： 这应该可以执行您想要的操作，但是如果没有更多上下文，我无法确定。 将$ text写入文件： 再次检索它：
-
问题内容： 我正在使用Python 2.7 + BeautifulSoup 4.3.2。 我正在尝试使用Python和BeautifulSoup在网页上获取信息。因为该网页位于公司网站中，并且需要登录和重定向，所以我将目标页面的源代码页面复制到一个文件中，并将其另存为C：\中的“ example.html”，以方便练习。 这是原始代码的一部分： 到目前为止，我得出的代码是： 这只是测试的第一步，因