如何通过派生编辑距离数据框列（字符串）向 spark 中的数据框添加新列

Question

我是Scala和Spark的新手。我想通过计算编辑距离从数据帧的现有列中导出一个新列。例如，FNAME和LNAME是数据帧的两列，希望添加名为NAMESCORE的新列，以保持FNAME到LNAME的编辑距离。请用工作代码或伪代码提供建议。

这是我得到部分答案的链接。

从Spark数据帧中的单个列派生多个列

Answer 1

您可以使用列文施泰因函数来计算编辑距离。

https://spark.apache.org/docs/1.6.2/api/java/org/apache/spark/sql/functions.html#levenshtein（org.apache.spark.sql.Column和org.apachi.spark.sql.Column）

val sqlContext = new SQLContext(sc)
val df = sqlContext.read
    .format("com.crealytics.spark.excel")
    ...
    .load(...)
df.withColumn("NAME_DISTANCE", levenshtein($"Name_Left", $"Name_Right"))

Answer 2

您可以使用自定义项：

def udfToFindEditDistance(col1 :String,col2 :String): String ={
    //find edit distance b/w col1 and col2 
  }

注册udf

 val newUDF=udf(udfToFindEditDistance(_:String,_:String)) 

添加新列

val newDf=df.withColumn("newColumnName",newUDF(df("FNAME"),df("LNAME")))