如何在Apache Spark中连接两个数据帧并将键合并到一列中？

Question

我有以下两个Spark数据帧：

sale_df:

|user_id|total_sale|
+-------+----------+
|      a|      1100|
|      b|      2100|
|      c|      3300|
|      d|      4400  

 user_id|personalized_target|
+-------+-------------------+
|      b|               1000|
|      c|               2000|
|      d|               3000|
|      e|               4000|
+-------+-------------------+

user_id   total_sale   personalized_target
 a           1100            NA
 b           2100            1000
 c           3300            2000
 d           4400            4000
 e           NA              4000

任何PySpark、SQL和HiveContext都可以提供帮助。

Answer 1

您可以在Scala中使用equi-join synthax

  val output = sales_df.join(target_df,Seq("user_id"),joinType="outer")

您应该检查它在Python中是否工作：

   output = sales_df.join(target_df,['user_id'],"outer")