如何理解spark submit script master是纱线？
我们在所有节点上都有6台机器、hdfs和纱线服务，1个主节点和6个从节点。我们在3台机器上安装Spark，1台主机器，3个工人（1个节点主工人）。我们知道，当主spark://[主机]：[端口]时，作业将仅运行3个节点，使用独立模式。当使用spark submit--master Thread提交一个jar时，它会使用所有6个服务器cpu和内存，还是只使用3个spark worker节点机器？如果可以运行所有6个节点，剩下的3个服务器怎么知道这是Spark作业？
Spark:2.3.1 Hadoop:2.7.3
共有1个答案
在纱线模式下，spark submit将资源分配资源发送给纱线，容器将根据资源可用性在不同的节点管理器上启动。
-
我有点匆忙地根据一个使用纱线的教程创建了一个React应用程序。现在我要从头开始重新创建应用程序，因为我对reactstrap库不满意，我想切换到react-bootstrap。 我已经重新安装了node。然而，当我运行CreateReact应用程序时，它说使用“纱线”而不是“npm”，如下所示： 我想使用npm，因为它似乎使用得更广泛，并且有更多基于它的例子。我是被纱线卡住了，还是可以继续使用n
-
react文档中提到了创建react应用程序的官方方法 我认为会自动检测纱线，但在我的情况下，它不会，并使用我不想要的npm创建reactapp。 我使用创建react-app的第二个选项，但它显示了多个警告： 那么有没有更好的方法用npx（使用纱线）创建react应用程序
-
我听说“RESTful API应该是无状态的，所有状态信息都应该保留在客户端”。 但是当我从web页面发出AJAX调用时，我注意到会话ID cookie总是被发送到服务器。有了那个会话ID，我就可以在服务器上获取会话对象，这样我就可以“获取/设置会话中的一些状态信息”。 这是否打破了RESTful API的“无状态代码”？ （我提出问题的背景如下。） 我试图通过调用RESTful API来验证用户
-
我听说“RESTful API应该是无状态的。所有状态信息都应该保存在客户端”。 但当我从网页发出AJAX调用时，我注意到会话ID cookie总是被发送到服务器。使用该会话ID，我可以在服务器上获取会话对象，因此我可以“获取/设置会话中的一些状态信息”。 这是否打破了RESTful API的“无状态代码”？ （我的问题背景如下。） 我试图通过调用RESTful API来验证用户名和密码来实现登录
-
我在Cloudera CDH5.3集群上运行Spark，使用YARN作为资源管理器。我正在用Python（PySpark）开发Spark应用程序。 我正在运行一个提交命令，如下所示： 如何确保作业在集群中并行运行？