如何将RDD数据保存到json文件而不是文件夹中

Question

我收到的流数据mydstream(dstream[String])希望保存在S3中（基本上，对于这个问题，我希望将输出保存在哪里并不重要，但我只是为了以防万一而提到它）。

是否可以将每个rdd[String]（这些是JSON字符串）数据保存到JSON文件中，而不是文件夹中？我以为repartition(1)必须使用这个技巧，但它没有。

    myDStream.foreachRDD { rdd => 
       // datetimeString = ....
       rdd.repartition(1).saveAsTextFile("s3n://mybucket/keys/jsonFile-"+datetimeString+".json")
    }

Answer 1

AFAIK没有将其保存为文件的选项。因为它是一个分布式处理框架，而且不适合在单个文件上写，而不是每个分区在指定的路径上写它自己的文件。

我们只能传递要保存数据的输出目录。OutputWriter将在指定路径内创建文件（取决于分区），文件名前缀为part-。