Spark dataframe reducebykey-like操作

Question

我有一个包含以下数据的Spark数据框（我使用Spark csv加载数据）：

key,value
1,10
2,12
3,0
1,20

是否有类似于spark RDD的东西可以返回spark数据帧：（基本上，对相同的键值求和）

key,value
1,30
2,12
3,0

（我可以将数据转换为RDD并执行reduceByKey操作，但是否有更具Spark DataFrame API的方法来实现这一点？）

Answer 1

这个怎么样？我同意这仍然转换为rdd然后转换为dataframe。

df.select('key','value').map(lambda x: x).reduceByKey(lambda a,b: a+b).toDF(['key','value'])

Answer 2

我认为用户goks遗漏了代码中的某些部分。它不是经过测试的代码。

.map应用于使用将rdd转换为pairRDD。映射（λx：（x，1））。还原键。。。。

ReporteByKey在单个值rdd或常规rdd上不可用，但对RDD可用。

谢谢

Answer 3

如果不关心列名，可以使用groupBy，后跟sum：

df.groupBy($"key").sum("value")

否则最好将sum替换为agg：

df.groupBy($"key").agg(sum($"value").alias("value"))

最后，您可以使用原始SQL：

df.registerTempTable("df")
sqlContext.sql("SELECT key, SUM(value) AS value FROM df GROUP BY key")

另请参见数据帧/数据集分组行为/优化