使用Zookeeper Quorum建立Spark群集
我们正在尝试使用ZK设置火花高可用性设置。我们有2台机器用于Spark进程的主机，另有3台机器用于Spark从机。Spark主机中的配置在spark-env.sh中如下所示：
# - SPARK_DAEMON_JAVA_OPTS, to set config properties for all daemons (e.g. "-Dx=y")
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=DEV-SMP-Manager01:2181DEV-SMP-Worker01:2181,DEV-SMP-Worker05:2181"
其中DEV-SMP-Manager01:2181DEV-SMP-Worker01:2181、DEV-SMP-Worker05:2181是ZK法定人数。它们都在运行。
我们看到了一些与curator相关的错误消息
java.lang.noClassDeffounderror：org/apache/curator/retrypolicy at storm.kafka.kafkaspout.open(kafkaspout.java:85)at backtype.storm.daemon.executor$fn__3373$fn__3388.invoke(executor.clj:522)at backtype.storm.util$async_loop$fn__464.invoke(util.cljj:461)at clojure.lang.afn.run(afn.java:24)at
使用版本:-spark-spark-1.6.1zk-3.4.6
共有1个答案
请尝试在classpath中添加curator-client jar,方法是在spark-env.sh文件中添加以下内容：
SPARK_CLASSPATH="$SPARK_CLASSPATH:/path/to/curator-client.jar"
-
工人出现在图片上。为了运行我的代码，我使用了以下命令：
-
应用程序不是那么占用内存，有两个连接和写数据集到目录。同样的代码在spark-shell上运行没有任何失败。 寻找群集调优或任何配置设置，这将减少执行器被杀死。
-
/usr/local/spark-1.2.1-bin-hadoop2.4/bin/--类com.fst.firststep.aggregator.firststepmessageProcessor--主spark://ec2-xx-xx-xx-xx.compute-1.amazonaws.com:7077--部署模式集群--监督文件：///home/xyz/sparkstreaming-0.0.1
-
问题内容： 假设我要在5台计算机上运行Elasticsearch集群，并且它们都连接到共享驱动器。我将Elasticsearch的一个副本放到了该共享驱动器上，以便所有三个都可以看到它。我是否只是在我所有机器上的共享驱动器上启动Elasticsearch，并且集群将自动发挥作用？还是我必须配置特定设置以使Elasticsearch意识到它可以在5台计算机上运行？如果是这样，相关的设置是什么？我应该
-
我有一个项目连接到独立的redis，客户端创建为： 用于绝地武士和spring data redis的库版本为： 现在我需要移动到集群redis，并将客户端创建更改为 通过此代码更改，我在群集中找不到可访问的节点，如下所示： } 由于spark-2.1.3中运行了spark应用程序，由于版本依赖性，我需要使用相同的spring data redis。如果没有jedis和spring data re
-
null sbin/start-slave.sh spark://c96___37fb:7077--用于并置从机的端口7078 sbin/start-slave.sh spark：//masternodeip:7077--其他两个从机的端口7078 前面引用的所有端口都从nodeMaster重定向到相应的Docker。 因此，webUI向我显示，我的集群有3个连接的节点，不幸的是，当运行时，只有并