为什么与熊猫相比，Apache-Spark-Python在本地这么慢？

Question

这里是Spark新手。我最近开始使用以下命令在两个内核的本地计算机上使用Spark：

pyspark --master local[2]

我有一个393Mb的文本文件，其中包含近一百万行。我想执行一些数据操作操作。我使用的是内置PySpark的数据帧的功能进行简单的操作，如groupBy，sum，max，stddev。

但是，当我在完全相同的数据集上对熊猫进行完全相同的操作时，就延迟而言，熊猫似乎在很大程度上击败了pyspark。

我想知道这可能是什么原因。我有几点想法。

1. 内置函数是否会使序列化/反序列化过程效率低下？如果是，那么还有哪些替代方案？
2. 数据集是否太小以至于不能超过运行spark的基础JVM的开销成本？

感谢您的光临。非常感激。

Answer 1

因为：

• Apache Spark是一个复杂的框架，旨在在确保正确性和容错性的同时在数百个节点之间分布处理。这些属性中的每一个都有很高的成本。
• 因为纯粹的内存中内核处理（Pandas）比磁盘和网络（甚至是本地）I / O（Spark）要快几个数量级。
• 因为并行性（和分布式处理）会增加大量开销，即使优化（增加并行工作量）也无法保证任何性能改进。
• 因为本地模式不是为提高性能而设计的。用于测试。
• 最后但并非最不重要的一点-运行在393MB上的2个内核不足以看到任何性能改进，并且单节点没有提供任何分发机会

你可以这样持续很长时间