火花是否支持镶木地板格式的多个输出文件

Question

业务案例是，我们希望通过一个列作为分区，将一个大的拼花文件分割成多个小文件。我们已经使用data frame . partition(“XXX”)进行了测试。写(...).用了大约1个小时，记录了10万个条目。因此，我们将使用map reduce在不同的文件夹中生成不同的拼花文件。示例代码:

import org.apache.hadoop.io.NullWritable

import org.apache.spark._
import org.apache.spark.SparkContext._

import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat

class RDDMultipleTextOutputFormat extends MultipleTextOutputFormat[Any, Any] {
  override def generateFileNameForKeyValue(key: Any, value: Any, name: String): String =
    key.asInstanceOf[String]+"/aa"
}

object Split {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("SplitTest")
    val sc = new SparkContext(conf)
    sc.parallelize(List(("w", "www"), ("b", "blog"), ("c", "com"), ("w", "bt")))
      .map(value => (value._1, value._2 + "Test"))
      .partitionBy(new HashPartitioner(3))//.saveAsNewAPIHadoopFile(path, keyClass, valueClass, outputFormatClass, conf)
      .saveAsHadoopFile(args(0), classOf[String], classOf[String],
        classOf[RDDMultipleTextOutputFormat])
    sc.stop()
  }
}

上面的例子只是生成一个文本文件，如何用multipleoutputformat生成一个parquet文件？

Answer 1

Spark从1.4.0（1.5语法）开始支持Parket分区：

df.write.partitionBy("some")

和自 （2.0.0） 起的分桶：

df.write.bucketBy("some")

带有可选的排序子句。