如何使（Spark1.6）saveAsTextFile附加现有文件？

Question

文件名太复杂和随机，我无法使用api获取。所以我想使用saveAstextfile，因为文件名并不复杂且规则，但我不知道如何在同一目录中追加文件？感谢您抽出时间。

Answer 1

你可以试试我在某处找到的这个方法。处理Spark Streaming rdd并存储到单个HDFS文件

    import org.apache.hadoop.fs.{ FileSystem, FileUtil, Path }

def saveAsTextFileAndMerge[T](hdfsServer: String, fileName: String, rdd: RDD[T]) = {
  val sourceFile = hdfsServer + "/tmp/"
  rdd.saveAsTextFile(sourceFile)
  val dstPath = hdfsServer + "/final/"
  merge(sourceFile, dstPath, fileName)
}

def merge(srcPath: String, dstPath: String, fileName: String): Unit = {
  val hadoopConfig = new Configuration()
  val hdfs = FileSystem.get(hadoopConfig)
  val destinationPath = new Path(dstPath)
  if (!hdfs.exists(destinationPath)) {
    hdfs.mkdirs(destinationPath)
  }
  FileUtil.copyMerge(hdfs, new Path(srcPath), hdfs, new Path(dstPath + "/" + fileName), false, hadoopConfig, null)
}

Answer 2

由于spark使用HDFS，这是它产生的典型输出。您可以使用FileUtil将文件合并回一个文件。这是一个有效的解决方案，因为它不需要spark通过将整个数据划分为1来将其收集到单个内存中。这是我遵循的方法。

import org.apache.hadoop.fs.{FileSystem, FileUtil, Path}   

val hadoopConf = sqlContext.sparkContext.hadoopConfiguration
val hdfs = FileSystem.get(hadoopConf)
val mergedPath = "merged-" + filePath + ".json"
val merged = new Path(mergedPath)
if (hdfs.exists(merged)) {
  hdfs.delete(merged, true)
}
df.wirte.mode(SaveMode.Append).json(filePath)

FileUtil.copyMerge(hdfs, path, hdfs, merged, false, hadoopConf, null)

您可以使用mergedPath位置读取单个文件。希望有帮助。

Answer 3

在Spark 1.5上工作过，我认为这是正确的用法...

dataframe.write().mode(SaveMode.Append).format(FILE_FORMAT).**partitionBy**("parameter1", "parameter2").save(path);