SPARK-CSV读取选项

Question

compile group: 'org.scala-lang', name: 'scala-library', version: '2.11.1'
compile group: 'org.apache.spark', name: 'spark-core_2.11', version: '2.1.0'

import java.io.{BufferedWriter, File, FileWriter}
import java.sql.{Connection, DriverManager}
import net.sf.log4jdbc.sql.jdbcapi.ConnectionSpy
import org.apache.spark.sql.{DataFrame, SparkSession, Column, SQLContext}
import org.apache.spark.sql.functions._
import org.postgresql.jdbc.PgConnection

spark.read
    .option("charset", "utf-8")
    .option("header", "true")
    .option("quote", "\"")
    .option("delimiter", ",")
    .csv(...)

Answer 1

你可以在这里看到：

val charset = parameters.getOrElse("encoding", 
       parameters.getOrElse("charset",StandardCharsets.UTF_8.name()))

编码和字符集都是有效的选项，在设置编码时使用这两个选项都不会有问题。

Charset只是从spark csv代码来自databricks spark csv项目时开始提供遗留支持，该项目从2.x开始合并到spark项目中。这也是delimiter（现在是sep）的来源。

spark.read.option("header", "true").csv(...)