将 pyspark 中的两个数据帧合并为一列

Question

我有两个数据帧，我需要连接一列，如果id包含在第二个数据帧的同一列中，则只从第一个数据帧中获取行：

df1：

  id    a     b
  2     1     1
  3    0.5    1
  4     1     2
  5     2     1

断续器：

 id      c    d
  2      fs   a
  5      fa   f

期望输出：

df:
  id   a   b
   2   1   1
   5   2   1

我已经用df1.join(df2("id ")，" left ")试过了，但是给我错误:“Dataframe”对象是不可调用的。

Answer 1

如果您需要检查 id 是否存在于 df2 中，并且不需要在 df2 的输出中出现任何列，那么 isin（） 是更有效的解决方案（这类似于 SQL 中的 EXISTS 和 IN）。

df1 = spark.createDataFrame([(2,1,1) ,(3,5,1,),(4,1,2),(5,2,1)], "id: Int, a : Int , b : Int")

df2 = spark.createDataFrame([(2,'fs','a') ,(5,'fa','f')], ['id','c','d'])

创建df2.id作为列表，并将其传递到isin（）下的df1。

from pyspark.sql.functions import col

df2_list = df2.select('id').rdd.map(lambda row : row[0]).collect()

df1.where(col('id').isin(df2_list)).show()

#+---+---+---+
#| id|  a|  b|
#+---+---+---+
#|  2|  1|  1|
#|  5|  2|  1|
#+---+---+---+

建议使用isin（）IF-

> < li>

您不需要从参考数据框架/表格中返回数据

引用数据帧/表中存在重复项（如果值重复，则连接可能导致重复行）

Answer 2

df2（“id”）不是用于选择列的有效python语法，您需要df2[[[“id”]]]，或者使用选择df2。选择（“id”）；对于您的示例，您可以执行以下操作：

df1.join(df2.select("id"), "id").show()

+---+---+---+
| id|  a|  b|
+---+---+---+
|  5|2.0|  1|
|  2|1.0|  1|
+---+---+---+

或：

df1.join(df2[["id"]], "id").show()
+---+---+---+
| id|  a|  b|
+---+---+---+
|  5|2.0|  1|
|  2|1.0|  1|
+---+---+---+