包含数组的Java spark数据帧联接列

Question

我有两个数据帧df1和df2。df1有一个String类型的列键

df1.show()

key
----
k1
k2
k3

df2 has 2 columns
df2.show()
topic | keys
-------------
 t1  | [k1, k2]
 t2  | [pk1, pk2]

当df1.key出现在df2.keys中时，我想连接2个数据帧

然而，我正在寻找一个完整的单词匹配。Contains方法连接部分匹配的行。我的意思是，在上面的示例中，我不希望k2与[pk1，pk2]连接，因为数组不包含密钥k2，它包含pk2。

有人能建议如何加入这个案子吗？请用JAVA提供示例。

Answer 1

你可以做的是分解数组，每个键得到一行，如下所示：

df2 = df2.withColumn("key", explode(df2.col("keys")))
df2.show()

+-----+----------+---+
|topic|      keys|key|
+-----+----------+---+
|   t1|  [k1, k2]| k1|
|   t1|  [k1, k2]| k2|
|   t2|[pk1, pk2]|pk1|
|   t2|[pk1, pk2]|pk2|
+-----+----------+---+

然后，您可以加入此新列：

Dataset<Row> result = df2.join(key, df2.col("key").equalTo(df1.col("key")), "inner")
result.show()

+-----+--------+---+---+
|topic|    keys|key|key|
+-----+--------+---+---+
|   t1|[k1, k2]| k1| k1|
|   t1|[k1, k2]| k2| k2|
+-----+--------+---+---+

请注意，它不是很有效，因为它重复了数据。

Answer 2

可以使用函数“数组包含”:

val df1 = List("k1", "k2", "k3").toDF("key")
val df2 = List(
  ("t1", Array("k1", "k2")),
  ("t2", Array("pk1", "pk2"))
).toDF("topic", "keys")
val result = df1.join(df2, expr("array_contains(keys,key)"))
result.show(false)

输出：

+---+-----+--------+
|key|topic|keys    |
+---+-----+--------+
|k1 |t1   |[k1, k2]|
|k2 |t1   |[k1, k2]|
+---+-----+--------+