Python vs Scala（用于Spark作业）

Question

我对Spark很陌生，目前正在通过玩pyspark和Spark-Shell来探索它。

现在的情况是，我用pyspark和Spark-Shell运行相同的spark作业。

这是来自Pyspark：

textfile = sc.textFile('/var/log_samples/mini_log_2')
textfile.count()

textfile = sc.textFile("file:///var/log_samples/mini_log_2")
textfile.count()

使用spark-shell，工作在25分钟内完成，使用pyspark大约55分钟。如何让Spark独立地用pyspark分配任务，就像它用Spark-shell分配任务一样？

Answer 1

使用python有一些开销，但它的重要性取决于您正在做什么。尽管最近的报告表明开销不是很大（特别是对于新的DataFrame API）

您遇到的一些开销与每个工作开销的常数有关--这对于大型工作几乎不相关。您应该使用更大的数据集进行示例基准测试，看看开销是不变的，还是与数据大小成正比。

另一个潜在的瓶颈是为每个元素（map等）应用python函数的操作--如果这些操作与您相关，您也应该测试它们。