什么时候在Apache Spark中的驱动程序上不运行操作？

Question

我刚刚开始使用Spark，并在与任务的概念作斗争。

有人能帮我理解什么时候驱动程序中没有运行操作（比如减少）吗？

从火花教程中，

使用func函数聚合数据集的元素(该函数采用两个参数并返回一个参数)。该函数应该是可交换的和可结合的，以便它可以被正确地并行计算。

我目前正在尝试一个应用程序，它读取“n”个文件的目录并计算单词数。

从web UI来看，任务的数量等于文件的数量。所有的reduce函数都发生在驱动节点上。

您能否说出 reduce 函数不会在驱动程序上执行的场景。任务是否始终包含“转换操作”或仅包含“转换”

Answer 1

尽管我可能遗漏了问题的一部分，但我还是尝试一下。一项任务实际上总是一种转变和一种行动。转换是惰性的，不会提交任何内容，因此需要一个操作。您可以随时调用＜code＞。toDebugString，查看每个作业拆分的位置；每一级缩进都是一个新阶段。我认为驱动程序上显示的reduce函数有点用词不当，因为它将首先并行运行，然后合并结果。因此，我希望这项任务确实尽可能地在工人身上进行。

Answer 2

所有操作都在群集上执行，操作结果可能最终取决于驾驶员（取决于操作）。

一般来说，围绕业务逻辑编写的spark代码不是实际运行的程序——而是spark使用它来创建一个计划，该计划将在集群中执行您的代码。该计划创建了一个所有操作都可以在一个分区上完成的任务，而不需要到处移动数据。每次spark需要不同排列的数据时(例如，排序后)，它将创建一个新任务，并在前面和后面的任务之间进行洗牌