如何在Spark中的groupby之后运行RDD操作？

Question

2）在控制器中执行groupby，然后在map中运行由外部库提供的非并行kmeans。

请告诉我还有别的办法，我宁愿尽可能的拥有一切。

Answer 1

编辑：在响应的时候，我不知道它是pyspark。然而，我将把它作为一个可能被改编的想法

我有一个类似的问题，我能够提高性能，但对我来说仍然不是理想的解决方案。也许对你来说有用。

这个想法是将RDD分解成许多较小的RDDs（每个用户id一个新的RDD)，将它们保存到一个数组中，然后为每个“子RDD”调用处理函数（在您的例子中是集群）。下面给出了建议的代码（注释中的解释）：

// A case class just to use as example
case class MyClass(userId: Long, value: Long, ...)

// A Scala local array with the user IDs (Could be another iterator, such as List or Array):
val userList: Seq[Long] = rdd.map{ _.userId }.distinct.collect.toSeq  // Just a suggestion!

// Now we can create the new rdds:
val rddsList: Seq[RDD[MyClass]] = userList.map { 
  userId => rdd.filter({ item: MyClass => item.userId == userId }) 
}.toSeq

// Finally, we call the function we want for each RDD, saving the results in a new list. 
// Note the ".par" call, which is used to start the expensive execution for multiple RDDs at the same time
val results = rddsList.par.map {
  r => myFunction(r)
}