当具有多个值时遍历RDD键值对

Question

我目前刚接触Spark，正在使用Scala。我在遍历RDD键值对时遇到了一些问题。我得到了一个TSV文件，file1，其中包括国家名称、纬度和经度，到目前为止我得到了；

val a = file1.map(_.split("\t")).map(rec => (rec(1), (rec(11).toDouble, rec(12).toDouble)))

其中，rec（1）是国家名称，rec（11）是经度，rec（12）是纬度。据我所知，a现在是一个键值对，rec（1）是键，rec（11）和rec（12）是值。我已经设法首先测试了这一点_1首先给出第一个键a_2.\u 1给出键的第一个值<代码>a.优先_2.\u 2给出键的第二个值。

我的目标是至少用相同的键获得所有rec（11）和rec（12）的平均值。所以我的想法是将它们相加，然后用该键除以键值对的数目。

有人能帮我下一步该做什么吗？我试过使用map，flatValueMap，valueMap，groupByKey等等，但我似乎无法同时对rec（11）和rec（12）求和。

Answer 1

我的目标是至少设法获得具有相同键的所有rec（11）的平均值，并且与rec（12）相同

您可以按以下步骤进行操作（为清楚起见，请发表评论）

a.mapValues(x => (x, 1))    //putting counter to the values of (k, (v1, v2)) as (k, ((v1, v2), 1))
  .reduceByKey{case(x,y) => ((x._1._1+y._1._1, x._1._2+y._1._2), x._2+y._2)}  //summing separately all the values of v1, all the values of v2 and the counter of same key
  .map{case(x, y)=> (x, (y._1._1/y._2, y._1._2/y._2))}  //finding the average i.e. deviding the sum of v1 and v1 by counter sum separately

这些都在https://stackoverflow.com/a/49166009/5880706

Answer 2

您可以使用groupByKey和agg操作avg

这是一个快速示例：

原始DF：

+------------+-----+
|country code|pairs|
+------------+-----+
|          ES|[1,2]|
|          UK|[2,3]|
|          ES|[4,5]|
+------------+-----+

执行操作：

df.groupBy($"country code").agg(avg($"pairs._1"), avg($"pairs._2"))

结果：

+------------+-------------+-------------+
|country code|avg(pairs._1)|avg(pairs._2)|
+------------+-------------+-------------+
|          ES|          2.5|          3.5|
|          UK|          2.0|          3.0|
+------------+-------------+-------------+