Apache Spark k-均值聚类-RDD用于输入

Question

org.apache.spark.rdd.RDD[(Long, Seq[org.apache.spark.mllib.linalg.Vector])]

该向量包含X、Y坐标，即成对的双打。我想为每个用户ID标识坐标集群，所以我在RDD上进行映射，并尝试为每个组运行k-means：

val userClusters = userCoordVectors.map {
  case (userId, coords) =>
    val clusters = 4
    val iterations = 30
    // Need to convert coords to RDD for input into K-Means
    val parsedData = sc.parallelize(coords)

    // Apply k-means
    val model = KMeans.train(parsedData, clusters, iterations)
    ...
    etc
}

但是当我运行这个时，我从一行中得到了一个NPE：

val parsedData = sc.parallelize(coords)

问题是，我必须将coords转换为RDD来进行K-Means操作。

 val userClusters = sc.parallelize(userCoordVectors.collect.map {
 ...
 })

Answer 1

不能在RDD运算符的任何函数中使用SparkContext或RDD。它们不能序列化并通过网络发送。

Matei Zaharia在这里回答:http://apache-spark-user-list.1001560.n3.nabble.com/can-we-get-a-spark-context-inside-a-mapper-td9605.html

您目前不能在Spark任务中使用SparkContext，因此在这种情况下，您必须调用某种本地K-means库。您可以尝试使用的一个示例是Weka（http://www.cs.waikato.ac.nz/ml/Weka/）。然后，您可以使用sparkcontext.wholetextfiles将文本文件作为字符串的RDD加载，并对每个文本文件调用Weka。