Spark集群不能扩展到小数据

Question

我目前正在一个小型集群（3个节点，32个CPU和128 GB Ram）上使用线性回归（Spark ML）中的基准测试来评估Spark 2.1.0。我只测量了参数计算的时间（不包括启动、数据加载、……)并识别了以下行为。对于小的数据集，0.1MIO-3MIO数据点，测量的时间并没有真正增加，停留在大约40秒。只有对于较大的数据集，如300个Mio数据点，处理时间才会达到200秒。因此，集群似乎根本无法扩展到小型数据集。

我还比较了本地pc上的小数据集和仅使用10个worker和16GB RAM的集群。集群的处理时间要大3倍。那么，这是否被认为是SPARK的正常行为，并且可以通过通信开销来解释，或者是我做错了什么（或者线性回归并不真正具有代表性）？

集群是一个独立的集群（没有Yarn或Mesos)，基准测试与90个worker一起提交，每个worker有1个核心和4 GB RAM。

Answer 1

最佳集群大小和配置根据数据和作业的性质而变化。在这种情况下，我认为您的直觉是正确的，在较小的数据集上完成作业似乎要花费不成比例的更长时间，因为给定集群的大小（核心和执行器）会带来额外的开销。

请注意，将数据量增加两个数量级只会使处理时间增加5倍。您正在将数据增加到群集设置的最佳大小。

Spark是一个处理大量数据的好工具，但如果数据合适，它就无法与在一台机器上运行一个进程相比较。但是，它可以比其他基于磁盘的分布式处理工具快得多，在这些分布式处理工具中，数据不适合在一台机器上。