可以使用脚本启动Spark集群节点吗？
我的问题是：如果有，比方说20个节点，这是相当乏味和耗时的。有没有一种方法可以像Hadoop那样从某个本地化位置启动Spark？当您从主节点运行Hadoop时，它会远程启动所有从节点。我正在寻找一个这样的解决方案，或者一个可以SSH到节点并启动它们的python脚本。
共有1个答案
您可以使用Apache Ambari来管理整个集群，这将为您SSH到所有节点
否则，您可以使用类似Ansible的系统来配置和启动所有服务
不过，听起来您只使用Spark独立的，而不是YARN，因为YARN没有start-slaves脚本
-
本文档介绍用 3 台服务器构建 Seafile 高可用集群的架构。这里介绍的架构仅能实现“服务高可用”，而不能支持通过扩展更多的节点来提升服务性能。如果您需要“可扩展 + 高可用”的方案，请参考Seafile 可扩展集群文档。 在这种高可用架构中包含3个主要的系统部件： Seafile 服务器：提供 Seafile 服务的软件 MariaDB 数据库集群：保存小部分的 Seafile 元数据，比如
-
启动Apache Spark集群通常是通过代码库提供的spark-submit shell脚本完成的。但问题是，每次集群关闭并重新启动时，您都需要执行那些shell脚本来启动spark集群。 我也对其他解决方案持开放态度。
-
我想运行以下pm2任务： 它应该运行以下两个脚本： 但是，这似乎只是启动脚本。是否有一种方法可以用以外的其他名称来定位脚本？
-
根据这份文件： 然而，与Redis（群集模式禁用）群集不同，当前，一旦创建了Redis（群集模式启用）群集，其结构就不能以任何方式改变；不能添加或删除节点或碎片。如果需要添加或删除节点，或更改节点类型，则必须重新创建集群。（来源） 然而，本文档似乎描述了向集群添加碎片的过程： 通过使用Amazon ElastiCache for Redis 3.2.10版本的在线重新划分和分片重新平衡，您可以动态
-
来自log的信息(c:\spark\logs\spark--org.apache.spark.deploy.master.master-1-xxxxxx.out: Spark命令:C:\program files\java\jdk1.8.0_72\bin\java-cp C:\Spark/conf\；C:\spark/lib/spark-assembly-1.6.0-Hadoop2.6.0.jar
-
问题内容： 我想用一个非常简单的单节点群集启动Cassandra，但是我做不到。 我按照在 https://www.digitalocean.com/community/tutorials/how-to-install-cassandra- and-run-a-single-node-cluster-on-a-ubuntu- vps 基本上， 在VirtualBox上构建了一个新的CentOS 7