Spark-Csv写入quotemode不工作

Question

我正在尝试使用Spark-CSV（https://github.com/databricks/Spark-CSV）将DataFrame写成CSV文件

res1.write.option("quoteMode", "NONE").format("com.databricks.spark.csv").save("File")

而不是

伦敦
哥本哈根
莫斯科

Answer 1

是的。要关闭双引号字符（“）和反斜杠字符(\)的默认转义，必须在。write（）方法调用之后添加一个。option（）方法调用，调用的参数正好合适。option（）方法调用的目的是改变csv（）方法“查找”引用字符实例的方式。为此，您必须更改“引用”实际含义的默认值；即，将所查找的字符从双引号字符（“）改为Unicode”\u0000“字符（实质上提供Unicode NUL字符，这在格式良好的JSON文档中是不会出现的）。

val dataFrame =
  spark.sql("SELECT * FROM some_table_with_a_json_column")
val unitEmitCsv =
  dataframe
    .write
    .option("header", true)
    .option("delimiter", "\t")
    .option("quote", "\u0000") //magic is happening here
    .csv("/FileStore/temp.tsv")

这只是我在尝试使用Apache Spark和emitting.csv文件时学到的几个教训之一。有关这方面的更多信息和上下文，请参阅我写的题为“集成SaaS的Apache Spark ETL管道示例”的博客文章。