spark中的Csv自定义架构[重复]

Question

我有一份CSV档案

1577，真，假，假，假，真

我试图用自定义模式加载csv文件，

val customSchema = StructType(Array(
      StructField("id", StringType, nullable = false),
      StructField("flag1", BooleanType, nullable = false),
      StructField("flag2", BooleanType, nullable = false),
      StructField("flag3", BooleanType, nullable = false),
      StructField("flag4", BooleanType, nullable = false),
    StructField("flag6", BooleanType, nullable = false))

    )
    val df =
      spark.read.schema(customSchema).option("header","false").
     option("inferSchema","false").csv("mycsv.csv")

但模式的可正确为null并没有按预期更改。

df.printSchema
root
 |-- id: string (nullable = true)
 |-- flag1: boolean (nullable = true)
 |-- flag2: boolean (nullable = true)
 |-- flag3: boolean (nullable = true)
 |-- flag4: boolean (nullable = true)
 |-- flag6: boolean (nullable = true)

Answer 1

//创建RDD val rowRDD1=spark。sparkContext。textFile（“../yourfile.csv”）

//架构编码为字符串val schemaString=“id flag1 flag2 flag3 flag4 flag5 flag6”

//根据schema val fields=schemaString的字符串生成架构。拆分（“”）。地图（字段名=

val模式=结构类型（字段）

//将RDD（rowRDD1）的记录转换为Row val rowRDD=rowRDD. map（_分割(",")). map（属性=

//将架构应用于RDD val rowDF=spark。createDataFrame（rowRDD，schema）

Answer 2

请查看以下URL以了解详细信息

Spark DataFrame架构可空字段

如何将nullable=false的模式应用于json读取

解决方法

val rowDF = spark.read.textFile("mycsv.csv")
    val df= spark.read.schema(customSchema).csv(rowDF)
    df.printSchema()