Spark：如何保存带有标题的数据框？

Question

dataframe.saveasTextFile，仅以定界格式保存数据。如何在JAVA中保存带有标题的数据框。

sourceRufFrame.toJavaRDD().map(new TildaDelimiter()).coalesce(1, true).saveAsTextFile(targetSrcFilePath);

Answer 1

如果您想另存为csv文件，我建议使用spark-csv软件包。您可以使用spark-csv以下带有标头的格式保存数据框。

dataFrame.write
  .format("com.databricks.spark.csv")
  .option("header", "true")
  .option("delimiter",<your delimiter>)
  .save(output)

您可以参考下面的链接，以获取更多信息：https :
//github.com/databricks/spark-csv

Spark-csv 具有Maven依赖性。