如何使用Java中的spark在数据框中使用特定值替换空值？

Question

我正在尝试提高使用Java在Spark中实现的Logistic回归算法的准确性。为此，我试图用该列的最频繁值替换该列中存在的Null或无效值。例如：-

Name|Place
a   |a1
a   |a2
a   |a2
    |d1
b   |a2
c   |a2
c   |
    |
d   |c1

在这种情况下，我将用“ a”替换“名称”列中的所有NULL值，用“
a2”替换“位置”列中的所有NULL值。到现在为止，我只能提取特定列中最频繁的列。您能否在第二步中帮助我，该步骤涉及如何用该列的最常用值替换空值或无效值。

Answer 1

您可以使用.na.fillfunction（它是org.apache.spark.sql.DataFrameNaFunctions中的函数）。

基本上，您需要的功能是： def fill(value: String, cols: Seq[String]): DataFrame

您可以选择列，然后选择要替换null或NaN的值。

在您的情况下，它将类似于：

val df2 = df.na.fill("a", Seq("Name"))
            .na.fill("a2", Seq("Place"))