如何在PySpark中将dataframe列从String类型更改为Double类型？

Question

下面是我做的方式：

toDoublefunc = UserDefinedFunction(lambda x: x,DoubleType())
changedTypedf = joindf.withColumn("label",toDoublefunc(joindf['show']))

我只是想知道，这是正确的方法吗，因为在运行逻辑回归时，我得到了一些错误，所以我想知道，这是麻烦的原因吗。

Answer 1

这里不需要UDF。列已提供cast方法和datatype实例：

from pyspark.sql.types import DoubleType

changedTypedf = joindf.withColumn("label", joindf["show"].cast(DoubleType()))

或短字符串：

changedTypedf = joindf.withColumn("label", joindf["show"].cast("double"))

其中规范字符串名称（也可以支持其他变体）对应于SimpleString值。所以对于原子类型：

from pyspark.sql import types 

for t in ['BinaryType', 'BooleanType', 'ByteType', 'DateType', 
          'DecimalType', 'DoubleType', 'FloatType', 'IntegerType', 
           'LongType', 'ShortType', 'StringType', 'TimestampType']:
    print(f"{t}: {getattr(types, t)().simpleString()}")

BinaryType: binary
BooleanType: boolean
ByteType: tinyint
DateType: date
DecimalType: decimal(10,0)
DoubleType: double
FloatType: float
IntegerType: int
LongType: bigint
ShortType: smallint
StringType: string
TimestampType: timestamp

types.ArrayType(types.IntegerType()).simpleString()   

'array<int>'

types.MapType(types.StringType(), types.IntegerType()).simpleString()

'map<string,int>'