当struct type的struct字段与spark scala中的特定值匹配时，从structs数组中检索struct

Question

Schema

root
|-- promotion-id: string (nullable = true)
|-- custom-attributes: struct (nullable = true)
|    |-- custom-attribute: array (nullable = true)
|    |    |-- element: struct (containsNull = true)
|    |    |    |-- value: string (nullable = true)
|    |    |    |-- attribute-id: string (nullable = true)


Sample Input Data 

promotion-id    custom-attributes.custom-attribute
100             [["x",1000],["y",2000]]
200             [["x",3000],["z",4000]]

Sample Output

promotion-id    col X   col Y   col Z
100             1000    2000    null
200             3000    null    4000

我正在使用spark 2.3，我有一个具有以下模式的数据框架

如果您注意到自定义属性。自定义属性是数组（struct）

现在，我将属性ID设置为“x”。我需要检查属性ID“x”是否存在于数组中的任何结构中，并获取值输出。

我有一个属性ID和列名的列表

假设-如果属性ID为“x”，则获取其值并填充到x列中

下面是属性ID到列的映射x-

如果结构中没有可用的属性，那么只需在该列中设置为null

Answer 1

您可以内联结构数组，并对值进行透视。

val df2 = df.selectExpr(
    "*", 
    "inline(`custom-attributes`.`custom-attribute`)"
).groupBy("promotion-id").pivot("value").agg(first(col("attribute-id")))

df2.show
+------------+----+----+----+
|promotion-id|   x|   y|   z|
+------------+----+----+----+
|         100|1000|2000|null|
|         200|3000|null|4000|
+------------+----+----+----+

请注意，使用反勾号可以转义列名中的连字符。通常，在列名中使用连字符不是一种好的做法，因为它们也可能意味着列的减法。