连接两个连接键不同的数据框架，并且只选择一些列

Question

我想做的是：

使用两个数据帧 A 和 B 各自的 id 列a_id和b_id连接它们。我想从A中选择所有列，从B中选择两个特定列

我尝试了类似于我在下面用不同引号写的东西，但仍然不起作用。我觉得在pyspark中，应该有一种简单的方法来做到这一点。

A_B = A.join(B, A.id == B.id).select(A.*, B.b1, B.b2)

我知道你可以写作

A_B = sqlContext.sql("SELECT A.*, B.b1, B.b2 FROM A JOIN B ON A.a_id = B.b_id")

这样做，但我想更像上面的伪代码。

Answer 1

我认为更简单的解决方案是用您想要的选定列将表A连接到表B。下面是实现这一点的示例代码:

joined_tables = table_A.join(table_B.select('col1', 'col2', 'col3'), ['id'])

上面代码连接了table_A中的所有列和table_B中的列“col1”、“col2”、“col3”

Answer 2

尝试此解决方案:

A_B = A.join(B,col('B.id') == col('A.id')).select([col('A.'+xx) for xx in A.columns]
      + [col('B.other1'),col('B.other2')])

SELECT中的下面几行发挥了从表A中选择所有列和从表B中选择2列的技巧。

[col('a.'+xx) for xx in a.columns] : all columns in a

[col('b.other1'),col('b.other2')] : some columns of b

Answer 3

您的伪代码基本上是正确的。如果两个DataFrames中都存在id列，则此稍微修改的版本将起作用：

A_B = A.join(B, on="id").select("A.*", "B.b1", "B.b2")

从pyspark.sql.DataFrame.join（）的文档中：

如果< code>on是指示联接列名称的字符串或字符串列表，则列必须存在于两端，这将执行等同联接。

由于键是不同的，因此您只需与列（）（或与列姆Renamed（））一起使用即可在两个数据帧中创建具有相同名称的列：

A_B = A.withColumn("id", col("a_id")).join(B.withColumn("id", col("b_id")), on="id")\
    .select("A.*", "B.b1", "B.b2")

如果您的数据帧具有长而复杂的名称，您还可以使用＜code＞alias（）

A_B = long_data_frame_name1.alias("A").withColumn("id", col("a_id"))\
    .join(long_data_frame_name2.alias("B").withColumn("id", col("b_id")), on="id")\
    .select("A.*", "B.b1", "B.b2")