用包含字符串的列表替换字符串

Question

两行的一个例子是:([a，b，c]，d)和([d，e]，a)我想把这些行转换成([a，b，c]，[d，e])和([d，e]，[a，b，c])

dataframe的列名是“src”和“dst”。

我如何处理这个问题？

val result = df.map(f => {
  if(df.exists(x => x._1.contains(f._2))) {
    (f._1, df.filter(x => x._1.contains(f._2)).head._1)
  } else {
    (f._1, List(f._2))
  }
}).toDF("src", "dst")

Answer 1

就我从你上面的问题和评论中了解到的，以下是你的解决方案

将输入dataframe指定为

+---------+---+
|src      |dst|
+---------+---+
|[a, b, c]|d  |
|[d, e]   |a  |
+---------+---+

您可以使用join和UDF函数作为

import org.apache.spark.sql.functions._
val joinExpr = udf((col1: mutable.WrappedArray[String], col2: String) =>  col1.contains(col2))

df.as("t1").join(df.as("t2"), joinExpr($"t1.src", $"t2.dst")).select($"t1.src".as("src"), $"t2.src".as("dst")).show(false)

+---------+---------+
|src      |dst      |
+---------+---------+
|[a, b, c]|[d, e]   |
|[d, e]   |[a, b, c]|
+---------+---------+