pyspark中的左外部联接后，Drop函数不起作用

Question

我的pyspark版本是2.1.1。我试图加入两个数据帧(左外)有两列id和优先级。我是这样创建我的数据框架的:

a = "select 123 as id, 1 as priority"
a_df = spark.sql(a)

b = "select 123 as id, 1 as priority union select 112 as uid, 1 as priority"
b_df = spark.sql(b)

c_df = a_df.join(b_df, (a_df.id==b_df.id), 'left').drop(b_df.priority)

c_df架构将作为 DataFrame[uid： 整型， 优先级： 整型， uid： 整型， 优先级： 整型]

删除函数不会删除列。

但是如果我试着去做：

c_df = a_df.join(b_df, (a_df.id==b_df.id), 'left').drop(a_df.priority)

则删除a_ df的优先级列。

不确定是否存在版本更改问题或其他问题，但感觉非常奇怪的是，drop函数的行为会像这样。

我知道解决方法可以是先删除不需要的列，然后进行连接。但仍然不确定为什么放置函数不起作用？

提前致谢。

Answer 1

pyspark中带有连接的重复列名会导致不可预测的行为，我已经阅读过以在连接之前消除名称的歧义。从stackoverflow中，Spark Dataframe区分具有重复名称和Pyspark Join的列，然后列选择显示意外输出。很抱歉，我找不到为什么pyspark不能像您描述的那样工作。

但数据砖文档解决了这个问题：https://docs.databricks.com/spark/latest/faq/join-two-dataframes-duplicated-column.html

从数据中:

如果在Spark中执行连接，并且没有正确地指定连接，那么最终会出现重复的列名。这使得选择这些列更加困难。本主题和笔记本演示了如何执行联接以避免出现重复的列。

当您加入时，您可以尝试使用别名（这通常是我使用的），也可以将列作为列表类型或str加入。

df = left.join(right, ["priority"])