Spark的KMeans是否无法处理大数据？

Question

KMeans有几个用于训练的参数，初始化模式默认为kmeans
||。问题在于它快速前进（不到10分钟）到前13个阶段，但随后 完全挂起 ，而不会产生错误！

*重现问题的 *最小示例 （如果我使用1000点或随机初始化，它将成功）：

from pyspark.context import SparkContext

from pyspark.mllib.clustering import KMeans
from pyspark.mllib.random import RandomRDDs


if __name__ == "__main__":
    sc = SparkContext(appName='kmeansMinimalExample')

    # same with 10000 points
    data = RandomRDDs.uniformVectorRDD(sc, 10000000, 64)
    C = KMeans.train(data, 8192,  maxIterations=10)

    sc.stop()

如下所示，该作业不执行任何操作（该操作不会成功，失败或没有进展。）。“执行器”选项卡中没有活动/失败的任务。Stdout和Stderr
Logs没有特别有趣的东西：

如果使用k=81而不是8192，它将成功：

请注意，这两个电话takeSample()，不应该是一个问题，因为有在随机初始化的情况下打了两次电话。

那么，发生了什么事？Spark的Kmeans是否 无法扩展 ？有人知道吗 你能繁殖吗？

如果是内存问题，我将像以前一样收到警告和错误。

注意：placeybordeaux的注释基于作业在 客户端模式下 的执行，在该 模式下
，驱动程序的配置无效，从而导致退出代码143等（请参阅编辑历史记录），而在群集模式下则 没有任何错误报告 ，该应用程序 只是挂起 。

从zero323开始：为什么Spark MllibKMeans算法非常慢？是相关的，但我认为他见证了一些进展，而我的绞刑期间，我确实发表了评论…

Answer 1

我认为“悬空”是因为您的执行者不断死亡。正如我在边聊中提到的那样，此代码在本地和群集中的Pyspark和Scala中对我来说运行良好。但是，它花费的时间比应该花费的时间长得多。几乎所有时间都花在k均值上||
初始化。

我打开了https://issues.apache.org/jira/browse/SPARK-17389，以跟踪两项主要改进，您可以立即使用其中一项。编辑：真的，另请参阅https://issues.apache.org/jira/browse/SPARK-11560

首先，有一些代码优化可以将初始化速度提高约13％。

但是，最大的问题是它默认为5步k-均值||。init，似乎2几乎总是一样好。您可以将初始化步骤设置为2，以查看加速情况，尤其是在目前处于挂起状态的阶段。

在我的笔记本电脑上（较小）测试中，初始化时间从5:54变为1:41，并且两者都有变化，这主要是由于设置了初始化步骤。