Spark中csv的Mulitline标题

Question

version=2
date=2020-01-31

id,name,age
1,Alice,21
2,Bob,23

null

让我知道，如果你知道一个更优雅的方式做到这一点。

Answer 1

我尝试了所有的方法。以下是简化代码：

方法1

方法1是使用bash脚本中的Hadoop命令等。

(echo -e "version=2\ndate=2020-01-31\n\nid,name,age" | gzip  -vc ; hadoop fs -cat "$INPUT_DIR/*" ) | hadoop fs -put - "$OUTPUT_PATH"

null

import org.apache.hadoop.io.compress.GzipCodec

val heading = """version=2
date=2020-01-31

id,name,age""".split("\n", -1).toSeq

val headingRdd: RDD[String] = sc.parallelize(heading)

val mediamathRdd: RDD[String] = df.rdd.map(row => row.mkString(","))

val combinedResult: RDD[String] = (headingRdd union mediamathRdd)

combinedResult.repartition(1).saveAsTextFile(path, classOf[GzipCodec])

df.repartition(1)
.withColumnRenamed("id", "version=2\ndate=2020-01-31\n\nid")
.option("header", true)
.option("delimiter", ",")
.option("quoteMode", "NONE")
.option("quote", " ")
.option("codec", "gzip")
.csv(path)

 version=2
date=2020-01-31

id ,name,age
1,Alice,21
2,Bob,23

我还尝试了：

.option（“quote”,“\u0000”）

它实际上打印ascii宪章零，虽然这没有显示在我的HDFS查看器中，但这不是规范的一部分。