工作者、工作者实例和执行者之间的关系是什么？
-
null
共有1个答案
我建议先阅读Spark cluster文档，但解释这些模式的Cloudera博客文章更是如此。
你的第一个问题取决于你所说的“实例”是什么意思。一个节点就是一台机器，没有充分的理由在每台机器上运行一个以上的worker。因此，两个工人节点通常意味着两台机器，每台机器都是一个火花工人。
工人持有许多执行者，为许多申请。一个应用程序在许多工作人员上有执行者。
-
> 执行者为每个应用程序。那么工人的角色是什么呢？它是否与执行者协调并将结果反馈给驱动程序？还是司机直接找被执行人对话？如果是的话，那么工人的目的是什么呢？ 如何控制申请执行人数？ 任务可以在执行器中并行运行吗？如果是，如何配置执行器的线程数？ 示例2与示例1相同的集群配置，但我使用以下设置运行一个应用程序--executor-cores10--total-executor-cores10。 示例
-
注意:我在纱线上使用火花 我一直在尝试Spark中实现的公制。我启用了ConsoleSink和CsvSink，并为所有四个实例(驱动程序、主程序、执行器和工作程序)启用了JvmSource。然而，我只有驱动程序输出，在控制台和csv目标目录中没有工人/执行者/主数据。 看完这个问题后，我想知道在提交作业时，是否需要向执行者发送一些东西。 我的提交命令：＜code＞/bin/sark提交——类org
-
我目前使用的是Azure Premium服务应用程序(P3v3)。我发现我的函数需要一些提升，所以我决定看看如何配置缩放。我发现了两个可用的选项: < li >在配置部分中设置< code > FUNCTIONS _ WORKER _ PROCESS _ COUNT < li >配置横向扩展菜单中的实例数量 但是实例和工人之间有什么区别呢？还没有找到任何关于这一点的信息，或者它如何影响成本。
-
问题内容： 我希望我的go常规工作者（在下面的代码中）在关闭所有“排队”工作之前等待。 工作例程具有一个“待办事项”通道（已缓冲），通过该通道将工作发送给它。它有一个“完成”通道来告诉它开始关闭。该文档说，如果满足多个选择之一，则通道上的选择将选择一个“伪随机值”……这意味着在所有缓冲工作完成之前将触发关闭（返回）。 在下面的代码示例中，我希望所有20条消息都可以打印… 问题答案： 您完全不需要使
-
问题内容： angularJS如何使用Web Worker在后台运行进程？我有什么模式可以遵循吗？ 当前，我正在使用在单独的Web worker中具有模型的服务。该服务实现的方法如下： 在实现中，此方法将带有数据的消息发送给工作程序。这使我可以抽象出它是在单独的线程中执行的事实，并且我还可以提供一种对服务器甚至在同一线程中执行此操作的服务器进行查询的实现。 由于我是Java语言的新手，我只是在回收
-
我有一个2节点的Spark集群，每个节点有4个核心。 null 根据文档： Spark将为集群的每个部分运行一个任务。通常情况下，集群中的每个CPU需要2-4个片。 我将slices设置为8，这意味着工作集将被划分为集群上的8个任务，反过来每个工作节点得到4个任务（每个核心1：1） 我假设理想情况下，我们应该调优，使其与每个节点（在同构集群中）中的核数相对应，以便每个核获得自己的执行器和任务（1：