从amazon s3 bucket读取csv文件时列数据类型的更改

Question

df.printSchema()
Name --- string
City ----string

df.withColumn("created_date",current_date())

df.printSchema()
Name --- string
City --- string
created_date --- Date

df.show(2)
Name   City   created_date
Greg   MN     2020-09-13
John   NY     2020-09-13

稍后，我尝试使用pyspark从s3读取csv文件，created_date列datatype更改为timestamp。

df1 = spark.read.format("csv").option("header","true").option("delimiter",",").option("inferschema","true").load("s3://location/xxxx.csv")

df1.printSchema()
Name --- string
City --- string
created_date --- Timestamp

 df1.show(2)
 Name   City   created_date
 Greg   MN     2020-09-13 00:00:00
 John   NY     2020-09-13 00:00:00

有人知道为什么created_date列数据类型在从S3读取文件时改为timestamp而不是date吗？其实我在阅读的时候正在寻找日期数据类型，我很感激你的帮助！

Answer 1

该行为与S3无关，而是与Spark i在读取时如何获取数据类型有关。

在非平凡的情况下，模式推断可能会导致意外的行为，在您的例子中，created_date字段被解释为timestamp，其日期正确，但小时、分钟和秒都为0s，因为这些数字没有数据。

在读取时尝试显式设置架构：

from pyspark.sql.types import StructType, IntegerType, DateType

customSchema = StructType([
    StructField("Name", StructType()),
    StructField("City", StructType()),
    StructField("created_date", DateType())
])

df1 = spark.read.format("csv")
  .option("delimiter"," ")
  .option("header", "true")
  .schema(customSchema)
  .load("s3://location/xxxx.csv")