如何为单列PySpark数据帧正向填充缺失值插补？

Question

我有一个单列PySpark数据框。

| Rank  
|----------
| 10
| 10
| null   
| null     
| 15
| null
| 20
| null     
| null     
| 15
| null   
| 10

我想使用像熊猫ffill（）函数一样的前向填充来计算缺失值。

期望输出

| Rank    
|----------
| 10
| 10
| 10   
| 10     
| 15
| 15
| 20
| 20     
| 20     
| 15
| 15   
| 10

免责声明：我在stackoverflow中有一些解决方案，但当您只有一列作为输入时，它们就不起作用了。

Answer 1

请查看spark中的滞后和超前功能。

滞后和超前仅用于获得一个偏移。用一个全局变量创建udf很简单，下面是一个简单的例子

var PRV_RANK = 0f

import spark.implicits._
val data = spark.sparkContext.parallelize(Seq(10f, 10f, Float.NaN, Float.NaN, 15f, Float.NaN, 20f, Float.NaN, Float.NaN, 15f, Float.NaN, 10f))
  .toDF("rank")

val forwardFill = udf((rank: Float) =>
{
  if (rank == null || rank.equals(Float.NaN)){
    PRV_RANK
  }
  else {
    PRV_RANK = rank
    rank
  }
})

data.withColumn("rankNew", forwardFill($"rank")).show()

希望这有帮助！