使用 pyspark 将结构类型、数组类型转换/转换为字符串类型（单值）

Question

我的一个数据帧（spark.sql）有这个模式。

root
 |-- ValueA: string (nullable = true)
 |-- ValueB: struct (nullable = true)
 |    |-- abc: array (nullable = true)
 |    |    |-- element: struct (containsNull = true)
 |    |    |    |-- a0: string (nullable = true)
 |    |    |    |-- a1: string (nullable = true)
 |    |    |    |-- a2: string (nullable = true)
 |    |    |    |-- a3: string (nullable = true)
 |-- ValueC: struct (nullable = true)
 |    |-- pqr: array (nullable = true)
 |    |    |-- element: struct (containsNull = true)
 |    |    |    |-- info1: string (nullable = true)
 |    |    |    |-- info2: struct (nullable = true)
 |    |    |    |    |-- x1: long (nullable = true)
 |    |    |    |    |-- x2: long (nullable = true)
 |    |    |    |    |-- x3: string (nullable = true)
 |    |    |    |-- info3: string (nullable = true)
 |    |    |    |-- info4: string (nullable = true)
 |-- Value4: struct (nullable = true)
 |    |-- xyz: array (nullable = true)
 |    |    |-- element: struct (containsNull = true)
 |    |    |    |-- b0: string (nullable = true)
 |    |    |    |-- b2: string (nullable = true)
 |    |    |    |-- b3: string (nullable = true)
 |-- Value5: string (nullable = true)

我需要将其保存到CSV文件，但不使用任何扁平化，以以下格式分解。

 |-- ValueA: string (nullable = true)
 |-- ValueB: struct (nullable = true)
 |-- ValueC: struct (nullable = true)
 |-- ValueD: struct (nullable = true)
 |-- ValueE: string (nullable = true)

我直接使用了命令 [df.to_pandas（）.to_csv（“输出.csv”）]，这符合我的目的，但我需要一个更好的方法。我正在使用派斯帕克

Answer 1

在Spark中编写< code>csv格式不支持编写< code >结构/数组..etc复杂类型。

< code >编写为拼花文件:

Spark中更好的方法是以＜code＞parquet

df.write.parquet("<path>")

< code >编写为Json文件:

如果接受json格式的写作

df.write.json("path")
#or
df.toJSON().saveAsTextFile("path")

写入CSV文件：

使用＜code＞to_json转换为＜code＞字符串

df.selectExpr("valueA","to_json(ValueB)"..etc).write.csv("path")