如何在pyspark DataFrame中爆炸地图类型？

Question

我有一个数据表

import os, sys
import json, time, random, string, requests
import pyodbc 
from pyspark import SparkConf, SparkContext, SQLContext
from pyspark.sql.functions import explode, col, from_json, lit
from pyspark.sql import functions as f
from pyspark.sql import SparkSession
from pyspark.sql.types import *
...
df = data.withColumn("dev_serial", col("data.dev_serial")) \
   .withColumn("dev_property", from_json(col("data.dev_property"), MapType(StringType(), StringType())) )\
   .drop("data")
df.show(truncate=False)
df.printSchema()

而这个结果就在这里

我想爆炸dev_property（列）

dev_serial / use_event / item / ...
value1 / value2 / value3 /value4
.
.
.

怎么爆炸？

Answer 1

当您希望将dev_property列分解为两列时，此脚本将会很有帮助：

df2 = df.select(df.dev_serial, explode(df.dev_property))
df2.printSchema()
df2.show()

阅读更多关于爆炸如何在数组和映射类型上工作的信息。