在pyspark中创建一个包含一列元组的dataframe

Question

我有一个包含以下[（'列1'，值），（'列2'，值），（'列3'，值），…，（'列100'，值）]的RDD。我想创建一个包含带有元组的单个列的数据框。

我得到的最接近的是：

schema = StructType((StructField("char", StringType(), False), (StructField("count", IntegerType(), False))))
    my_udf = udf(lambda w, c: (w,c), schema)

然后

df.select(my_udf('char', 'int').alias('char_int'))

但这会产生一个包含列表列的数据帧，而不是元组。

Answer 1

结构是表示 Spark SQL 中产品类型（如元组）的正确方法，这正是您使用代码获得的内容：

df = (sc.parallelize([("a", 1)]).toDF(["char", "int"])
    .select(my_udf("char", "int").alias("pair")))
df.printSchema()

## root
##  |-- pair: struct (nullable = true)
##  |    |-- char: string (nullable = false)
##  |    |-- count: integer (nullable = false)

除非您希望创建UDT（2.0.0不再支持）或将pickle对象存储为＜code＞BinaryType

此外，结构字段在本地表示为元组：

isinstance(df.first().pair, tuple)
## True

我想当你打电话给Show时，你可能会被方括号弄糊涂：

df.show()

## +-----+
## | pair|
## +-----+
## |[a,1]|
## +-----+

它们只是由JVM对应物呈现的选择表示，并不表示Python类型。