如何在spark web ui中重新启动纱线服务器后保留已完成的应用程序
我正在为spark使用纱线资源管理器。重新启动纱线服务器后，spark webui中所有已完成的作业都将消失。
以下两个属性添加在纱线站点中。xml有人能解释一下原因是什么，以及是否有任何属性可以控制这一点。
<property>
<name>yarn.log-aggregation-enable</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.log.retain-seconds</name>
<value>86400</value>
</property>
谢谢
共有1个答案
如果您在yarn-site.xml中将yarn.resourcemanager.recovery.enabled设置为true并设置yarn.resourcemanager.store.class，则可以在重启时保留应用程序历史记录。
有关更多详细信息，请参阅ResourceManager重启。
您的其他条目引用日志记录并定义您希望完成的日志在清理之前保留多长时间。您可以在yarn-default.xml.中阅读有关它们的更多信息
-
我创建了一个运行docker容器的Azure应用服务。 但是容器似乎一直在重新启动：2020-01-09 07:21:56.543INFO-用于站点xxx的容器xxx初始化成功，并准备好服务请求。2020-01-09 07:22:01.559错误-用于站点xxx的容器不健康，停止站点。2020-01-09 07:22:01.559INFO-停止站点xxx，因为它是不健康的。 由于它是一个资源密集型
-
问题内容： 我试图编写一个文件监视器，它将检查文件是否添加了新行，该监视器实际上是一个线程，它将始终由randomaccessfile读取该行。 这是监视器的核心代码： 这是一些帮助类： 这是调用监视器的示例： 现在，我的问题是，如果我仅调用以下代码，代码就可以很好地工作： 这将监视文件的行追加，并通知侦听器。 但是，当我致电： 这意味着我想监视另一个文件而不是之前。 因此，在Monitor中，我
-
我有一个spring boot应用程序，它应该将数据库（产品）中的一个表导出为文件，所以我使用spring batch来实现这一点，我的问题是，当作业完成时，应用程序重新启动，我认为这是因为spring batch在完成后关闭了实体管理器，但我不确定 注意1：我使用作为Reader。 注意2：我正在使用从controller启动作业 注5：我发现了一个类似问题的问题，但它没有答案和关闭（重复），但
-
问题内容： 我很难找到一种方法来启动，停止和重新启动Java中的线程。 具体来说，我在中有一个类Task（当前实现）。我的主应用程序需要能够在线程上启动此任务，在需要时停止（杀死）该线程，有时还可以杀死并重新启动该线程… 我的第一次尝试是与，但我似乎找不到办法重新启动任务。当我使用任何将来的呼叫失败时，因为是“关机” … 那么，我该怎么做呢？ 问题答案： 一旦线程停止，你将无法重新启动它。但是，没
-
当我的应用程序启动时，将创建一个executor服务（在java.util.concurrent中使用Executors.NewFixedThreadPool（maxThreadNum））对象。当请求到来时，executor服务将创建线程来处理它们。 当应用程序启动时，它将在executorService池中创建200个线程。 只是想知道当应用程序启动时，这是一种正确的创建线程的方法吗？还是有更好
-
当我运行Spring MVC应用程序时，我得到了这个异常，服务器无法启动。 请帮我解决这个问题。 异常堆栈跟踪：