Spark：扁平化简单的多列数据

Question

如何将一个简单的（即没有嵌套结构的）数据表扁平化为列表？我的习题集是检测从节点对表中更改/添加/删除的所有节点对。

这意味着我有一个“before”和“after”表要比较。将before和after dataframe组合在一起生成的行描述了一对数据在一个dataframe中出现而在另一个dataframe中不出现的位置。

Example:
+-----------+-----------+-----------+-----------+
|before.id1 |before.id2 |after.id1  |after.id2  |
+-----------+-----------+-----------+-----------+
|       null|       null|         E2|         E3|
|         B3|         B1|       null|       null|
|         I1|         I2|       null|       null|
|         A2|         A3|       null|       null|
|       null|       null|         G3|         G4|

{A2,A3,B1,B3,E2,E3,G3,G4,I1,I2}

• 单独且不同地合并所有列
• 平面地图和不同的
• 映射和展平

由于结构是众所周知和简单的，似乎应该有一个同样简单的解决方案。哪种方法或其他方法是最简单的方法？

其他说明

• id1-id2对的顺序只对变化检测很重要
• 结果列表中的顺序不重要
• DataFrame在10k和100k行之间
• 结果列表中的distinct很好，但不是必需的；对于distinct操作来说，假设是微不足道的

Answer 1

尝试以下步骤，将所有行转换为SEQ，然后收集所有行，然后对数据进行扁平化并移除null值：

val df = Seq(("A","B"),(null,"A")).toDF 
val result = df.rdd.map(_.toSeq.toList)
   .collect().toList.flatten.toSet - null