斯卡拉火花 将多个列对分解成行

Question

如何将多个列对分解为多行？

我有一个包含以下内容的数据帧

client, type, address,    type_2,   address_2
abc,    home, 123 Street, business, 456 Street

我想要一个最终的数据帧，如下所示

client, type, address
abc, home, 123 Street
abc, business, 456 Street

我试着使用下面的代码，但是它返回了4条记录，而不是我想要的两条记录

df. with列（类型，爆炸（数组（类型，type_2）））. with列（地址，爆炸（数组（地址，address_2")))

我可以用两个独立的数据帧来实现这一点，并执行union，但我想看看是否有其他方法可以在单个数据帧中实现这一点

谢谢




Answer 1

这是我用于复杂转换的技术——在数据帧上映射记录，并使用scala应用任何复杂的转换。

在这里，我对2行进行硬编码，但是可以在此处放置任何逻辑以根据需要分解行。我使用平面图将行数组拆分为行。

    val df = spark.createDataFrame(Seq(("abc","home","123 Street","business","456 Street"))).toDF("client", "type", "address","type_2","address_2")

    df.map{ r =>
      Seq((r.getAs[String]("client"),r.getAs[String]("type"),r.getAs[String]("address")),
         (r.getAs[String]("client"),r.getAs[String]("type_2"),r.getAs[String]("address_2")))
    }.flatMap(identity(_)).toDF("client", "type", "address").show(false)

结果

+------+--------+----------+
|client|type    |address   |
+------+--------+----------+
|abc   |home    |123 Street|
|abc   |business|456 Street|
+------+--------+----------+

Answer 2

您可以使用结构来实现:

df
  .withColumn("str",explode(
    array(
      struct($"type",$"address"),
      struct($"type_2".as("type"),$"address_2".as("address"))))
  )
  .select($"client",$"str.*")
  .show()

给

+------+--------+----------+
|client|    type|   address|
+------+--------+----------+
|   abc|    home|123 Street|
|   abc|business|456 Street|
+------+--------+----------+