当前位置: 首页 > 知识库问答 >
问题:

如何终止正在运行的Spark应用程序?

龚伯寅
2023-03-14

我有一个正在运行的Spark应用程序,它占据了所有核心,而我的其他应用程序将不会被分配任何资源。

我做了一些快速的研究,人们建议使用YARN kill或 /bin/spark-class来杀死命令。然而,我使用的是CDH版本, /bin/spark-class根本不存在,YARN kill应用程序也不起作用。

有人能和我一起吗?

共有3个答案

祝灼光
2023-03-14

首次使用:

yarn application -list

记下应用程序ID然后杀死use:

yarn application -kill application_id
陶瀚玥
2023-03-14

从纱线中获取所有应用程序ID并逐个杀死它们可能会很耗时。您可以使用Bash for循环快速高效地完成此重复任务,如下所示:

杀死YARN上处于接受状态的所有应用程序:

<代码>用于x(纱线应用-列表-AppState接受| awk’NR

终止纱线上处于运行状态的所有应用程序:

<代码>用于x(纱线应用-列表-应用状态运行| awk’NR

蔡宏大
2023-03-14
  • 从spark调度程序复制粘贴应用程序Id,例如application\u 1428487296152\u 25597
  • 连接到已启动作业的服务器
  • 纱线应用-压井应用\u 1428487296152\u 25597
 类似资料:
  • 我正在以独立模式运行Spark群集。 我已使用以下选项提交了群集模式下的Spark应用程序: 使作业具有容错性。 现在我需要保持集群运行但停止应用程序运行。 我尝试过的事情: 停止集群并重新启动它。但是当我这样做时,应用程序会恢复执行。 使用了名为DriverWrapper的守护进程的Kill-9,但之后工作再次恢复。 我还删除了临时文件和目录并重新启动了集群,但作业再次恢复。 所以正在运行的应用

  • 问题内容: 我正在使用Python启动程序。 在某些情况下,程序可能会冻结。这是我无法控制的。我从命令行启动时唯一可以做的就是迅速杀死程序。 有什么办法可以模仿吗?我正在用来启动程序。 问题答案: 请查看该模块上的文档以了解更多信息:http : //docs.python.org/2/library/subprocess.html

  • 本文向大家介绍C语言如何正确的终止正在运行的子线程,包括了C语言如何正确的终止正在运行的子线程的使用技巧和注意事项,需要的朋友参考一下 最近开发一些东西,线程数非常之多,当用户输入Ctrl+C的情形下,默认的信号处理会把程序退出,这时有可能会有很多线程的资源没有得到很好的释放,造成了内存泄露等等诸如此类的问题,本文就是围绕着这么一个使用场景讨论如何正确的终止正在运行的子线程。其实本文更确切的说是解

  • 问题内容: 由于能够在Windows中将Python脚本作为服务运行,因此我能够使Flask应用程序作为服务运行。如果可能的话,怎么办?,但是要停止它,我做不到。我必须在任务管理器中终止该过程。 这是我的run.py,我可以通过run.py install将其变成服务: 我从这篇博文中获得了流程内容:http : //librelist.com/browser/flask/2011/1/10/st

  • 问题内容: 在我的应用程序中,我对一些本机代码进行了包装,这是通过JNI桥调用的。此本地代码需要在单独的线程中执行(并行处理)。但是,问题在于代码有时“挂起”,因此线程需要“强制”终止。不幸的是,我还没有找到任何“微妙的”方法来这样做:一般建议是告诉线程中的代码正常退出,但是我无法使用此本地代码(以上均为第三方代码)来执行此操作。 我使用Java Concurrent API进行任务提交: 只会中