对数据框的所有行应用函数[重复]

Question

我想在DataFrame的所有行上应用一个函数。例子：

|A  |B   |C   |
|1  |3   |5   |
|6  |2   |0   |
|8  |2   |7   |
|0  |9   |4   |


Myfunction(df)

Myfunction(df: DataFrame):{
//Apply sum of columns on each row
}

想要的输出：

1+3+5 = 9
6+2+0 = 8
...

Scala怎么能做到呢？我跟着这个，但没有运气。

Answer 1

如果要将函数应用于数据帧的每一行，Map就是解决方案。对于每一行，您都可以返回一个元组，并生成一个新的RDD。

当使用数据集或RDD时，这是完美的，但不是真正用于数据帧。对于您的用例和数据帧，我建议只添加一列并使用列对象来执行您想要的操作。

scala prettyprint-override">// Using expr
df.withColumn("TOTAL", expr("A+B+C"))
// Using columns
df.withColumn("TOTAL", col("A")+col("B")+col("C"))
// Using dynamic selection of all columns
df.withColumn("TOTAL", df.colums.map(col).reduce((c1, c2) => c1 + c2))

在这种情况下，你会对这个问题非常感兴趣。UDF也是一个很好的解决方案，在这里更好地解释。

如果您不想保留源列，您可以用. Select（value.alias（name））替换。

Answer 2

很简单。你不需要为此编写任何函数，你所能做的就是通过汇总所有你想要的列来创建一个新的列。

scala> df.show
+---+---+---+
|  A|  B|  C|
+---+---+---+
|  1|  2|  3|
|  1|  2|  4|
|  1|  2|  5|
+---+---+---+


scala> df.withColumn("sum",col("A")+col("B")+col("C")).show
+---+---+---+---+
|  A|  B|  C|sum|
+---+---+---+---+
|  1|  2|  3|  6|
|  1|  2|  4|  7|
|  1|  2|  5|  8|
+---+---+---+---+

编辑：

您可以在每一行上运行map函数，并使用行索引/字段名获得总和。

scala> df.map(x=>x.getInt(0) + x.getInt(1) + x.getInt(2)).toDF("sum").show
+---+
|sum|
+---+
|  6|
|  7|
|  8|
+---+


scala> df.map(x=>x.getInt(x.fieldIndex("A")) + x.getInt(x.fieldIndex("B")) + x.getInt(x.fieldIndex("C"))).toDF("sum").show
+---+
|sum|
+---+
|  6|
|  7|
|  8|
+---+