PySpark将类型为“映射”的列转换为数据框中的多个列

Question

输入值

我有一列Parameters类型map的表格：

>>> from pyspark.sql import SQLContext
>>> sqlContext = SQLContext(sc)
>>> d = [{'Parameters': {'foo': '1', 'bar': '2', 'baz': 'aaa'}}]
>>> df = sqlContext.createDataFrame(d)
>>> df.collect()
[Row(Parameters={'foo': '1', 'bar': '2', 'baz': 'aaa'})]

输出量

我想在pyspark重塑它，这样所有的按键（foo，bar，等）都列，分别为：

[Row(foo='1', bar='2', baz='aaa')]

使用withColumn作品：

(df
 .withColumn('foo', df.Parameters['foo'])
 .withColumn('bar', df.Parameters['bar'])
 .withColumn('baz', df.Parameters['baz'])
 .drop('Parameters')
).collect()

但是 我需要一个解决方案， 因为我有很多 列名称，所以没有明确提及列名称 。

架构图

>>> df.printSchema()

root
 |-- Parameters: map (nullable = true)
 |    |-- key: string
 |    |-- value: string (valueContainsNull = true)

Answer 1

由于的键MapType不是架构的一部分，因此您必须首先收集这些键，例如：

from pyspark.sql.functions import explode

keys = (df
    .select(explode("Parameters"))
    .select("key")
    .distinct()
    .rdd.flatMap(lambda x: x)
    .collect())

当您拥有了这些之后，剩下的就是简单的选择：

from pyspark.sql.functions import col

exprs = [col("Parameters").getItem(k).alias(k) for k in keys]
df.select(*exprs)