如何使用Supervisord自动启动Apache Spark集群？
启动Apache Spark集群通常是通过代码库提供的spark-submit shell脚本完成的。但问题是，每次集群关闭并重新启动时，您都需要执行那些shell脚本来启动spark集群。
command=/usr/lib/jvm/java-1.7.0-openjdk.x86_64/bin/java -cp :/path/spark-1.3.0-bin-cdh4/sbin/../conf:/path/spark-1.3.0-bin-cdh4/lib/spark-assembly-1.3.0-hadoop2.0.0-mr1-cdh4.2.0.jar:/path/spark-1.3.0-bin-cdh4/lib/datanucleus-api-jdo-3.2.6.jar:/path/spark-1.3.0-bin-cdh4/lib/datanucleus-core-3.2.10.jar:/path/spark-1.3.0-bin-cdh4/lib/datanucleus-rdbms-3.2.9.jar:etc/hadoop/conf -XX:MaxPermSize=128m -Dspark.akka.logLifecycleEvents=true -Xms512m -Xmx512m org.apache.spark.deploy.master.Master --ip master.mydomain.com --port 7077 --webui-port 18080
command=/usr/lib/jvm/java-1.7.0-openjdk.x86_64/bin/java -cp :/path/spark-1.3.0-bin-cdh4/sbin/../conf:/path/spark-1.3.0-bin-cdh4/lib/spark-assembly-1.3.0-hadoop2.0.0-mr1-cdh4.2.0.jar:/path/spark-1.3.0-bin-cdh4/lib/datanucleus-api-jdo-3.2.6.jar:/path/spark-1.3.0-bin-cdh4/lib/datanucleus-core-3.2.10.jar:/path/spark-1.3.0-bin-cdh4/lib/datanucleus-rdbms-3.2.9.jar:etc/hadoop/conf -XX:MaxPermSize=128m -Dspark.akka.logLifecycleEvents=true -Xms512m -Xmx512m org.apache.spark.deploy.worker.Worker spark://master.mydomain.com:7077
15/06/05 17:16:25 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/06/05 17:16:32 ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 0
15/06/05 17:16:32 ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 1
15/06/05 17:16:32 ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 2
15/06/05 17:16:32 ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 3
15/06/05 17:16:32 ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 4
15/06/05 17:16:32 ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 5
15/06/05 17:16:32 ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 6
15/06/05 17:16:32 ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 7
15/06/05 17:16:32 ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 8
15/06/05 17:16:32 ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 9
15/06/05 17:16:32 ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: Master removed our application: FAILED
15/06/05 17:16:32 ERROR TaskSchedulerImpl: Exiting due to error from cluster scheduler: Master removed our application: FAILED
我也对其他解决方案持开放态度。
共有1个答案
spark master可以通过以下方式在前台运行
command=/path/spark-1.3.0-bin-cdh4/sbin/../bin/spark-class org.apache.spark.deploy.master.Master --ip master.mydomain.com --port 7077 --webui-port 18080
和工人
command=/path/spark-1.3.0-bin-cdh4/sbin/../bin/spark-class org.apache.spark.deploy.worker.Worker spark://master.mydomain.com:7077
-
问题内容： 目前，我必须去然后做： 如何使它在启动时自动启动？ 我在共享Linux服务器上。 问题答案： 如果您具有计算机的超级用户访问权限，则可以根据系统的初始化流程（初始化脚本，systemd等）采用多种方法来执行此操作。 但是，如果您没有root用户，则可以采用一种干净且一致的方式在重新启动时执行程序。 首先，找出Java在您的计算机上的位置。下面的命令将告诉您它在哪里： 然后，将以下代码粘
-
大家好，我正在windows 7中使用xampp v3.2.1。我想在windows启动时自动启动它，但无法启动。 我尝试了这里提供的解决方案，但在服务中找不到任何东西。 我在D驱动器中安装了xampp，这就是为什么apache和mysql在从run打开services.msc时不显示在服务中的原因。 我已经从xampp控制面板的config（配置）按钮尝试过了，我选中了autostart（自动启
-
问题内容： 假设我有一个要运行的Docker容器，那么我可以调用 一切都很好。如果系统崩溃并重新启动，是否有内置的方式来运行容器，使其能够自动重新启动？ 如果是这样，这在Docker Compose中也可用吗？ 问题答案： 是的，docker具有重启策略，该策略可以处理此问题。这也可以在compose.yml配置文件中找到。
-
假设我有一个要运行的Docker容器，然后我可以调用 一切都很好。是否有一种内置方法可以运行容器，以便在系统崩溃并重新启动时自动重新启动容器？ 如果是这样，这在 Docker Compose 中是否也可用？
-
问题内容： 您如何使python程序自动重新启动？因此，假设有一个非常简单的程序，例如： 现在，在Python Shell中，您将必须按“运行”按钮，然后按“运行模块（F5）”，或者仅按键盘上的“ f5”按钮。那是您第一次运行它。程序结束后，您将返回到“ Cheese.py”文件，然后按“ f5”再次运行该程序。大家和我在一起吗？好的，所以我的问题是，如何使程序自动重新启动，而无需手动执行？ 问题
-
嘿，我尝试使用此代码自动创建docker容器 但我也得到了这个错误内部服务器错误（“OCI运行时创建失败：container\u linux。go:370：启动容器进程导致：exec：“git clone”：stat git clone：没有这样的文件或目录：未知”） 有什么方法可以解决这个问题吗？或者有其他方法吗？