pyspark仅在第一条记录时左连接

Question

我有2个pysaprk数据帧。

我正在寻找将df1与df2连接的选项。左连接仅与df2的第一行连接。

DF1：

ID  string
1   sfafsda
2   trwe
3   gfdgsd

大黑手

ID  address   state
1   Montreal  Quebec
1   Quebec    Quebec
2   Trichy    TN
2   Madurai   TN
3   Bangalore KN
3   Mysore    KN
3   Hosur     KN

联接的预期输出：

ID  string   address   state
1   sfafsda  Montreal  Quebec
2   trwe     Trichy    TN
3   gfdgsd   Bangalore KN

当我正在处理数据砖时，请让我知道仅使用第一行实现 pyspark 左连接是否更容易，或者 sql 连接是否可以实现预期的输出。谢谢。

Answer 1

是的，可以使用pyspark，但您需要向df2添加索引列。请参阅下面的代码：

df2 = df2.withColumn('index', F.monotonically_increasing_id())

df1.join(df2, 'ID', 'left') \
   .select('*', F.first(F.array('address', 'state')).over(Window.partitionBy('ID').orderBy('index')).alias('array')) \
   .select('ID', 'string', F.col('array')[0].alias('address'), F.col('array')[1].alias('state')) \
   .groupBy('ID', 'string') \
   .agg(F.first('address'), F.first('state')) \
   .orderBy('ID')