PySpark将列中的null替换为其他列中的值

Question

我想用相邻列中的值替换一列中的空值，例如，如果我

A|B
0,1
2,null
3,null
4,2

我希望它是：

A|B
0,1
2,2
3,3
4,2

尝试过

df.na.fill(df.A,"B")

但没有工作，它说值应该是浮点数、int、长、字符串或判决

有什么想法吗？

Answer 1

df.rdd.map(lambda row: row if row[1] else Row(a=row[0],b=row[0])).toDF().show()

Answer 2

另一个答案。

如果以下< code>df1是您的数据帧

rd1 = sc.parallelize([(0,1), (2,None), (3,None), (4,2)])
df1 = rd1.toDF(['A', 'B'])

from pyspark.sql.functions import when
df1.select('A',
           when( df1.B.isNull(), df1.A).otherwise(df1.B).alias('B')
          )\
   .show()

Answer 3

我们可以利用联合

from pyspark.sql.functions import coalesce
    
df.withColumn("B",coalesce(df.B,df.A))