停止正在运行的Spark应用程序

Question

我正在以独立模式运行Spark群集。

我已使用以下选项提交了群集模式下的Spark应用程序：

--deploy-mode cluster –supervise 

使作业具有容错性。

现在我需要保持集群运行但停止应用程序运行。

我尝试过的事情：

• 停止集群并重新启动它。但是当我这样做时，应用程序会恢复执行。
• 使用了名为DriverWrapper的守护进程的Kill-9，但之后工作再次恢复。
• 我还删除了临时文件和目录并重新启动了集群，但作业再次恢复。

所以正在运行的应用程序确实是容错的。

问题：基于上述场景，有人可以建议我如何停止作业运行，或者我可以尝试停止应用程序运行但保持集群运行的其他方法。

如果我调用sparkContext，我就会产生一些想法。stop（）应该这样做，但这需要在代码中做一些工作，这是可以的，但您可以在不更改代码的情况下提出任何其他方法。

Answer 1

https://community.cloudera.com/t5/Support-Questions/What-is-the-correct-way-to-start-stop-spark-streaming-jobs/td-p/30183

根据此链接，如果您的主人使用纱线，请停止

yarn application -list

yarn application -kill application_id

Answer 2

重温这个，因为我无法在不调试一些东西的情况下使用现有的答案。

我的目标是以编程方式杀死一个每天持续运行一次的驱动程序，部署对代码的任何更新，然后重新启动它。所以我不会提前知道我的司机ID是什么。我花了一些时间才弄明白，只有使用部署模式集群选项提交驱动程序，才能杀死驱动程序。我还花了一些时间才意识到应用程序ID和驱动程序ID之间存在差异，虽然您可以轻松地将应用程序名称与应用程序ID关联起来，但我还没有找到一种方法通过它们的apiendpoint来判断驱动程序ID，并将其与应用程序名称或正在运行的类关联起来。所以，当运行class org时。阿帕奇。火花部署客户端终止

此外，spark在http上默认提供了一个提交endpoint：//

由于我无法从任何apiendpoint找到与特定作业相关的驱动程序ID，因此我编写了一个python web scraper，从端口8080的基本spark母版网页获取信息，然后使用端口6066的endpoint终止它。我更愿意以支持的方式获取这些数据，但这是我能找到的最好的解决方案。

#!/usr/bin/python

import sys, re, requests, json
from selenium import webdriver

classes_to_kill = sys.argv
spark_master = 'masterurl'

driver = webdriver.PhantomJS()
driver.get("http://" + spark_master + ":8080/")

for running_driver in driver.find_elements_by_xpath("//*/div/h4[contains(text(), 'Running Drivers')]"):
    for driver_id in running_driver.find_elements_by_xpath("..//table/tbody/tr/td[contains(text(), 'driver-')]"):
        for class_to_kill in classes_to_kill:
            right_class = driver_id.find_elements_by_xpath("../td[text()='" + class_to_kill + "']")
            if len(right_class) > 0:
                driver_to_kill = re.search('^driver-\S+', driver_id.text).group(0)
                print "Killing " + driver_to_kill
                result = requests.post("http://" + spark_master + ":6066/v1/submissions/kill/" + driver_to_kill)
                print json.dumps(json.loads(result.text), indent=4)

driver.quit()

Answer 3

如果希望终止重复失败的应用程序，可以通过以下方式执行：

./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID>

您可以通过http://：8080上的独立主web UI找到驱动程序ID。

来自Spark Doc