将两个pyspark数据帧相乘

Question

我有一个PySpark数据帧，df1，看起来像:

CustomerID  CustomerValue CustomerValue2 
15          10            2
16          10            3
18          3             3

我有第二个PySpark数据帧，df2

 CustomerID  CustomerValue 
 15          2          
 16          3           
 18          4        

我想将df1的所有列（我有两列以上）与客户ID上的df2连接值相乘

 CustomerID     CosineCustVal CosineCustVal
 15             20            4
 16             30            9
 18             12            9

Answer 1

加入它们后，您可以在 df1 的列上运行 for 循环：

from pyspark.sql import functions as F

df_joined = df1.join(df2, df1.CustomerID == df2.CustomerID)
for col_name in df_joined.columns:
    if col_name != 'CustomerValue':
        df_joined = df_joined.withColumn(col_name, F.column(col_name) * F.column('CustomerValue'))

基于这篇文章，spark将创建一个智能计划，即使for循环建议不这样做(请记住，spark只在调用< code>action时才开始计算，直到您分配< code > transformations :https://spark . Apache . org/docs/latest/rdd-programming-guide . html # transformations)。