将Pandas数据帧转换为Spark数据帧时，是否可以将float转换为long？

Question

我有以下两个场景共享的前奏代码：

from pyspark.sql import SparkSession
from pyspark.sql.types import *
import pyspark.sql.functions as F
    
import pandas as pd
import numpy as np
    
spark = SparkSession.builder.getOrCreate()

df = pd.DataFrame({"col1": [1, 2, 3], "col2": [22.0, 88.0, np.nan]})

现在，我想将df转换为pyspark数据帧（sdf）。在创建sdf的过程中，当我试图通过模式将“col2”隐式地“转换”到长型中时，失败了：

schema = StructType([StructField("col1", LongType()), StructField("col2", LongType())])
sdf = spark.createDataFrame(df[schema.fieldNames()], schema=schema)

错误：

类型错误：字段col2：LongType无法接受类型中的对象22.0

但如果我运行以下代码段，它就可以正常工作：

schema_2 = StructType(
    [StructField("col1", LongType()), StructField("col2", FloatType())]
)
sdf = spark.createDataFrame(df[schema.fieldNames()], schema=schema_2)
cast_sdf = sdf.withColumn("col2", F.col("col2").cast(LongType()))
cast_sdf.show()

与输出：

+----+----+                                                                     
|col1|col2|
+----+----+
|   1|  22|
|   2|  88|
|   3|   0|
+----+----+




Answer 1

将我的评论转化为答案。

这实际上就是Spark处理模式的方式。这并不特定于熊猫数据帧转换为pyspark数据帧。将createDataframe方法与元组列表一起使用时，会出现相同的错误：

import numpy as np

schema = StructType([StructField("col1", LongType()), StructField("col2", LongType())])
df = spark.createDataFrame([(1, 22.0), (2, 88.0), (3, np.nan)], schema)

# TypeError: field col2: LongType can not accept object 22.0 in type <class 'float'>

当您传递模式时，这也是CSV等数据源的行为（尽管在读取CSV时，模式PERMISSIVE不会失败，但值被加载为null）。因为模式不会自动转换类型，它只是告诉Spark行中的每列应该有哪个数据类型。

因此，在使用模式时，必须传递与指定类型匹配的数据，或者使用不会失败的StringType，然后使用显式转换将列转换为所需的类型。

schema = StructType([StructField("col1", LongType()), StructField("col2", StringType())])

df = spark.createDataFrame([(1, 22.0), (2, 88.0), (3, np.nan)], schema)

df = df.withColumn("col2", F.col("col2").cast("long"))
df.show()

#+----+----+
#|col1|col2|
#+----+----+
#|   1|  22|
#|   2|  88|
#|   3|null|
#+----+----+