Spark csv阅读器：无法将尾随点和零的数字读入整数

Question

所以我有一个csv文件，其中的数字是整数，但有尾随。0

Category,ItemID
Category A,1.0
Category B,2.0
Category C,3.0
Category A,4.0
Category B,5.0

当我使用spark csv reader时，给出一个将列指定为整数的模式，它将返回null。

from pyspark.sql.functions import col

schema = StructType([
    StructField('Category', StringType(), False),
    StructField('ItemID', IntegerType(), False),
])

df2 = spark.read.csv(
            './output.csv',
            enforceSchema=True,
            schema=schema)
df2.show()

回报

+----------+------+
|  Category|ItemID|
+----------+------+
|  Category|  null|
|Category A|  null|
|Category B|  null|
|Category C|  null|
|Category A|  null|
|Category B|  null|
+----------+------+

当我将其读取为浮点数，然后将列转换为整数时，它有效。

from pyspark.sql.functions import col

schema = StructType([
    StructField('Category', StringType(), False),
    StructField('ItemID', DoubleType(), False),
])

df2 = spark.read.csv(
            './output.csv',
            enforceSchema=True,
            schema=schema)

df2=df2.withColumn("ItemID",col("ItemID").cast(IntegerType()))
df2.show()
print(df2.dtypes)

显示器

+----------+------+
|  Category|ItemID|
+----------+------+
|  Category|  null|
|Category A|     1|
|Category B|     2|
|Category C|     3|
|Category A|     4|
|Category B|     5|
+----------+------+

这是正常行为吗？我可以将复杂的步骤保存为先读取浮点数，然后强制转换它们吗？

谢谢

Answer 1

是的，这是意料之中的。您需要将其读取为float，然后应用类型转换。