Yarn是否从我们在spark-submit命令中传递的执行器数量中为应用程序主程序分配了一个容器
共有1个答案
--num-executors是从集群管理器（也可能是Hadoop YARN）请求该数目的执行器。那是Spark的要求。
（纱线应用程序的）应用程序母版只是纱线的东西。
可能发生的情况是，火花应用程序也可以是纱线应用程序。在这种情况下，Spark应用程序得到10个容器和一个额外的AM容器。
-
我在一个容器中运行Kafka，希望能够运行一个简单的命令来更改Java应用程序（Spring Boot）主题上的分区数。 我尝试过ProcessBuilder，但从我读到的任何错误消息来看，我无法通过ProcessBuilder来完成。 相反，我尝试查看Docker API，但无法理解/找到任何解决方案。 我想做的是：运行：docker exec-it kafka bash，然后在kafka容器内
-
我正在开发两个应用程序。让第一个应用程序是APP1，第二个应用程序为APP2。现在在APP1中，我不提供任何用户权限，如INTERNET权限，但它将发送任何http url，如http://www.google.com我的第二个APP2将包含INTERNET等用户权限。Http请求将从APP1发送到APP2，APP2将响应该请求，然后将结果发送回APP1。最后APP1包含一个Web视图以显示结果。
-
问题内容： 我有这个国际象棋引擎Rybka.exe，我必须在Java中执行。这是一个运行Rybka的示例：单击它后，控制台将打开并等待输入。因此，然后输入“uci”，然后按Enter键，等待它加载（大约1秒钟），然后您必须再输入几行作为选项和填充。问题是我不知道如何将这些命令从Java传递到Rybka。事实是这些命令必须一次输入一次，因为您必须等待一些命令才能执行。这就是我试图打开它的方式。码：
-
我是Spark的新手。我有一个应用程序，通过调用spark shell来运行每个spark sql查询。因此，它将生成一组如下所示的查询，并调用spark shell命令逐个处理这些查询。 Val Query=spark.sql（""SELECT userid as userid，评级为评级，电影为电影从default.movie表""）； 现在我想用spark submit而不是spark sh
-
假设我们有一个在集群模式下运行的spark作业，其中集群管理器是Yarn。 null
-
发生的情况：spark实例开始运行，在没有bokeh服务器的情况下正常加载。然而，一旦bokeh服务器应用程序启动（即）web页面打开，spark实例关闭。它不会在控制台输出中发回任何错误。产出如下： 2018-11-26 21:04:05 INFO ContextHandler:781-Started O.S.J.S.ServletContextHandler@4f0492c9{/statist