两个pyspark数据帧的余弦相似性

Question

我有一个PySpark数据帧，df1，看起来像:

CustomerID  CustomerValue CustomerValue2 
12          .17           .08

我有第二个PySpark数据帧，df2

 CustomerID  CustomerValue CustomerValue
 15          .17           .14
 16          .40           .43
 18          .86           .09

我想得到两个数据帧的余弦相似性。并有类似的东西

 CustomerID  CustomerID   CosineCustVal CosineCustVal
 15          12           1            .90
 16          12           .45          .67
 18          12           .8           .04

Answer 1

只能计算两个向量的余弦相似度，不能计算两个数的余弦相似度。也就是说，如果名为CustomerValue的列是一个向量的不同组成部分，该向量表示您想要获取两个客户之间相似性的要素，您可以通过转置数据框，然后在CuatomerValues上执行连接来实现。

可以通过分解来完成转置（有关转置数据框的更多详细信息，请单击此处）：

from pyspark.sql import functions as F

kvs = F.explode(F.array([
        F.struct(F.lit(c).alias('key'), F.columm(c).alias('value')) for c in ['CustomerValue1', 'CustomerValue2']
      ])).alias('kvs')

dft1 = (df1.select(['CustomerID', kvs])
        .select('CustomerID', F.column('kvs.name').alias('column_name'), F.column('kvs.value').alias('column_value'))
        )
dft2 = (df2.select(['CustomerID', kvs])
        .select('CustomerID', F.column('kvs.name').alias('column_name'), F.column('kvs.value').alias('column_value'))
        )

其中dft1和dft2

dft2 = (dft2.withColumnRenamed('CustomerID', 'CustomerID2')
        .withColumnRenamed('column_value', 'column_value2')
       )
cosine = (dft1.join(dft2, dft1.column_name = dft2.column_name)
          .groupBy('CustomerID' , 'CustomerID2')
          .agg(F.sum(F.column('column_value')*F.column('column_value2')).alias('cosine_similarity'))
         )

现在，在< code>cosine中有三列:来自第一个和第二个数据帧的CustomerID以及余弦相似性(假设这些值首先被标准化)。这样做的好处是，您只有具有非零相似性的CustomerID对的行(在某些CustomerID的值为零的情况下)。举个例子:

DF1：

CustomerID CustomerValue CustomerValue2
12         .17           .08

df2:

CustomerID CustomerValue CustomerValue
15         .17           .14
16         .40           .43
18         .86           .09

余弦：

CustomID CustomID2 cosine_similarity
12       15        .0401
12       16        .1024
12       18        .1534

当然，这些还不是真正的余弦相似之处，您需要先对值进行规范化。您可以通过以下方式对组执行此操作：

(df.groupBy('CustomerID')
 .agg(F.sqrt(F.sum(F.column('column_value')*F.column('column_value'))).alias('norm'))
 .select('CustomerID', F.column('column_name'), (F.column('column_value')/F.column('norm')).alias('column_value_norm'))
)

归一化列后，余弦相似性如下：

CustomID CustomID2 cosine_similarity
12       15        .970
12       16        .928
12       18        .945

较大的相似性值是由于低维（仅两个组件）。