Apache Spark：“未能启动org.Apache.spark.deploy.worker.worker”或Master
export SPARK_MASTER_IP=10.0.0.30
export SPARK_WORKER_INSTANCES=2
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=1
虽然我得到了失败的消息，但主人或工人在几秒钟后就活了。
有人能解释一下原因吗？
共有1个答案
-
null
-
null
# on master, with SPARK_HOME and conf/slaves set appropriately
mapfile -t ARGS < <(java -cp $SPARK_HOME/lib/spark-assembly-1.6.1-hadoop2.6.0.jar org.apache.spark.launcher.Main org.apache.spark.deploy.master.Master | tr '\0' '\n')
# $ARGS now contains the full call to start the master, which I daemonize with nohup
SPARK_PUBLIC_DNS=0.0.0.0 nohup "${ARGS[@]}" >> $SPARK_HOME/master.log 2>&1 < /dev/null &
MASTER=spark://$(hostname -i):7077
while read -r; do
ssh -o StrictHostKeyChecking=no $REPLY "$SPARK_HOME/sbin/spark-daemon.sh start org.apache.spark.deploy.worker.Worker 1 $MASTER" &
done <$SPARK_HOME/conf/slaves
# this forks the ssh calls, so wait for them to exit before you logout
-
我很难在服务器重新引导时重新启动pm2（它本身和两个节点/express文件，&)。 下面是我尝试的过程： 我在所有可能的组合中运行了上面的命令，但没有任何工作。我试着以根用户的身份运行，但也不起作用。 我的文件包含信息，所以我不知道还可以在哪里查找。 我尝试的其他参考资料... http://pm2.keymetrics.io/docs/usage/startup/ https://www.di
-
经过一番努力，我最终成功地在伪分布式节点中使用了hadoop，和工作正常(和) 昨天，我尝试用以下方法重新启动、等： 给出以下输出： Namenode似乎不愿意再启动了...几秒钟后Jobtracker就死了。 mapred-site.xml：
-
我使用的是FF版本19 直到昨天一切都很好，今天早上我突然发现了这个错误，我的代码和之前运行的代码一样，没有任何改变 错误消息： 以下是我的源代码：
-
在整个评估过程中使用JxBrowser，效果非常好。现在，我一启动它就突然不起作用了。我在Mac OS X 10.11上运行，但我也在Windows上测试过，仍然不起作用。我的构建路径中有两个操作系统所需的库。这就是我得到的（在Mac OS X上运行）：
-
我有一个基于maven的scala/java混合应用程序，可以提交spar作业。我的应用程序jar“myapp.jar”在lib文件夹中有一些嵌套的jar。其中之一是“common.jar”。我在清单文件中定义了类路径属性，比如。Spark executor抛出在客户端模式下提交应用程序时出错。类（com/myapp/common/myclass.Class）和jar（common.jar）在那里