Spark Scala-处理空数据流

Question

我有一个特定的要求，其中，我需要检查空的数据文件。如果为空，则填充默认值。这是我尝试过但没有得到我想要的东西。

def checkNotEmpty(df: org.apache.spark.sql.DataFrame, col: String):org.apache.spark.sql.DataFrame = 
 {
 if (!df.rdd.isEmpty())  df
    else
  df.na.fill(0, Seq(col))
 }

val age = checkNotEmpty(w_feature_md.filter("age='22'").select("age_index"),"age_index")

这个想法是，如果df不是空的，就得到它。如果为空，则填写默认值为零。这似乎不起作用。以下是我得到的。

scala> age.show
+---------+
|age_index|
+---------+
+---------+

请帮忙。

Answer 1

  def checkNotEmpty(df: org.apache.spark.sql.DataFrame, col: String):org.apache.spark.sql.DataFrame = 
     {
     if (!df.rdd.isEmpty())  df
        else
      df.na.fill(0, Seq(col))
     }

如果DF不为空，则控件转到if部分。

当DF为空时，转到else部分。

df.na(org.apache.spark.sql.dataframenafunctions):用于处理Dataframes中缺少的数据的功能。
由于对空Dataframe使用df.na，因此没有任何可替换的内容，因此结果总是empt。

有关替换DF中的null值的更多信息，请查看此ques。