在Spark的客户端模式下，驱动程序需要对远程执行程序进行网络访问？
当在客户机模式下使用spark时（例如，yarn-client)，运行驱动程序的本地机器是否直接与运行远程执行器的集群工作节点通信？
如果是，是否意味着如果集群的配置方式是工作节点在集群之外不可见，那么客户机模式将无法工作，并且必须使用集群模式？
谢了！
共有1个答案
驱动程序连接到Spark Master，请求上下文，然后Spark Master将驱动程序的详细信息传递给Spark工作人员，以进行通信并获得如何操作的指示。
这意味着驱动程序节点必须在网络上对工作人员可用，并且它的IP必须对他们可见（即，如果驱动程序在NAT之后，而工作人员在不同的网络中，它将无法工作，您将在工作人员上看到他们未能连接到驱动程序的错误）
-
我的工作是这样的： https://spark.apache.org/docs/latest/running-on-kubernetes.html 下面是驱动程序用于引导集群的代码：
-
我查了一下，我怎么能默默地运行硒：在这里找到了下一个伟大的答案 我正在尝试让selenium正常运行，直到一些操作完成，然后在后台运行它。 有可能吗？ 高级Oz中的thanx
-
问题内容： 我正在做一个项目，我需要使用基于USB的数字签名来签署pdf。我已经在本地尝试了以下代码，并且能够对pdf进行签名。我的问题是天气，以下代码将在基于客户端服务器的senerio中工作。 我的代码是： 请给我建议。谢谢大家 问题答案： 您使用了错误的iText版本，因此您创建的签名不能为将来使用（请阅读本书以了解代码有什么问题）。 您取决于操作系统是Windows的事实。您的服务器也是W
-
我正在对YARN上的Spark作业进行一些内存调优，我注意到不同的设置会给出不同的结果，并影响Spark作业运行的结果。但是，我很困惑，不明白为什么会这样，如果有人能给我一些指导和解释，我会很感激。 我将提供一些背景资料和张贴我的问题和描述案例，我已经经历了他们在下面。 我的环境设置如下： 存储器20G，每个节点20个vCore（共3个节点） Hadoop 2.6.0 火花1.4.0 我的代码对R
-
gmail的登录代码后，我正在尝试用下面的代码执行注销操作-但我失败了：（ 请建议我正确的方法来写下gmail注销的代码。 注意：在Eclipse控制台中，我观察到以下日志： 线程“主”组织 openqa.硒.无效选择器异常：给定的选择器gb_X gbii 无效或未导致 Web 元素。发生以下错误： 无效选择错误： 不允许复合类名 命令持续时间或超时： 16 毫秒
-
我正在通过阅读高性能Spark来学习如何配置Spark应用程序，其中提到的一句话让我感到困惑： 根据我的经验，设置Spark驱动程序内存的良好启发式方法只是不会导致驱动程序内存错误的最低可能值，即为执行程序提供最大可能的资源。 我的理解是驱动程序存在于它自己的节点中，而执行程序独立存在于工作节点上。我本以为我可以最大限度地利用驱动程序内存，而不必担心它会影响执行程序。 这本书的建议是真的吗？如果是