如何强制Spark执行代码？

Question

我如何强制Spark执行对map的调用，即使它认为由于其惰性求值而无需执行该调用？

我已经尝试过cache()使用map调用了，但是仍然不能解决问题。我的地图方法实际上将结果上传到HDFS。因此，它不是无用的，但Spark认为是。

Answer 1

简短答案：

要强制Spark执行转换，您需要要求一个结果。有时，一个简单的count动作就足够了。

TL; DR：

好的，让我们回顾一下 RDD 操作。

RDD支持两种类型的操作：

• 转换 -从现有数据集中创建新数据集。
• 动作 -在数据集上运行计算后，将值返回驱动程序。

例如，map是一个转换，该转换将每个数据集元素都传递给一个函数，并返回代表结果的新RDD。另一方面，这reduce是一个使用某些函数汇总RDD的所有元素并将最终结果返回给驱动程序的操作（尽管也有并行操作reduceByKey返回了分布式数据集）。

Spark中的所有转换都是 惰性的 ，因为 它们不会立即计算出结果 。

相反，他们只记得应用于某些基本数据集（例如文件）的转换。 仅当动作要求将结果 返回给驱动程序 时才计算转换
。这种设计使Spark可以更有效地运行-
例如，我们可以认识到通过map创建的数据集将用于reduce中，并且仅将reduce的结果返回给驱动程序，而不是将较大的maped数据集返回给驱动程序。

默认情况下，每次RDD您对它执行操作时，都可能会重新计算每个变换的对象。但是，您也可以RDD使用persist（或cache）方法将内存持久化在内存中，在这种情况下，Spark会将元素保留在群集中，以便下次查询时可以更快地进行访问。还支持将RDDs
持久保存在磁盘上，或在多个节点之间复制。

结论

要强制Spark执行对地图的调用，您需要要求一个结果。有时一个count动作就足够了。

参考

• Spark编程指南。