当前位置: 首页 > 知识库问答 >
问题:

启动spark master windows7

卢出野
2023-03-14

尝试运行sh start-master.sh thru git bash:未能启动org.apache.spark.deploy.Master.Master:,尽管它打印出master--ip sam-toshiba--port 7077--webui-port 8080-所以我不知道这意味着什么。但是当我尝试spark-submit--class“”--master spark://sam-toshiba:7077target/.jar-我得到错误:WARN abstractLifecycle:FAILED selectchannelconnector@0.0.0.0:4040:java.net.bindexception:Address已经在使用:bind java.net.bindexception:Address已经在使用

WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
17/01/12 14:44:29 WARN AppClient$ClientEndpoint: Failed to connect to master Sam-Toshiba:7077
java.io.IOException: Failed to connect to Sam-Toshiba/192.168.137.1:7077
    at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:216)

还尝试了Spark://localhost:7077-相同的错误

共有1个答案

闾丘德宇
2023-03-14

在Windows上,您可以使用以下命令启动Master。打开命令提示符,转到Spark bin文件夹并执行

spark-class.cmd org.apache.spark.deploy.master.Master

上面的命令将像master:在控制台的Spark://192.168.99.1:7077中启动Spark master一样打印。您可以在http://192.168.99.1:8080/查看UI

如果您想启动worker一旦您的主启动,您可以使用以下命令。这将使用您机器的所有可用核心。

spark-class.cmd org.apache.spark.deploy.worker.Worker spark://192.168.99.1:7077
spark-class.cmd org.apache.spark.deploy.worker.Worker -c 2 spark://192.168.99.1:7077
 类似资料:
  • iam使用带有kafa整数的jhipsterSpring靴 正在应用中。yml公司 云:流:默认绑定器:kafka函数:定义:memberSupplier;成员批准供应商;memberEventConsumer;memberApprovalEventConsumer绑定:memberSupplier-out-0:目标:memberEventConsumer-in-0:目标:memberApprov

  • 我在启动spring boot应用程序时遇到以下错误。这是我的第一个spring boot项目。因此,我不确定错误以及如何修复它。 申请启动失败 描述: 配置为侦听端口8080的Tomcat连接器无法启动。端口可能已在使用中,或者连接器可能配置错误。 行动: 验证连接器的配置,识别并停止在端口8080上侦听的任何进程,或者将此应用程序配置为在另一个端口上侦听。

  • 首先在 /etc/init.d 目录下添加 es 脚本(可执行), #!/bin/bash su es -c "/elasticsearch-2.3.5/bin/elasticsearch -d" 2. 查看系统启动级别 [root@slave02 init.d]# runlevel N 5 3. 在 /etc/rc5.d 下建立软链 ln -s S70es /etc/init.d/es

  • 大家好,我正在windows 7中使用xampp v3.2.1。我想在windows启动时自动启动它,但无法启动。 我尝试了这里提供的解决方案,但在服务中找不到任何东西。 我在D驱动器中安装了xampp,这就是为什么apache和mysql在从run打开services.msc时不显示在服务中的原因。 我已经从xampp控制面板的config(配置)按钮尝试过了,我选中了autostart(自动启

  • Chrome大部分时候作为一个独立可执行程序运行,它知道怎样运行我们使用的各种有趣的进程。 这是具体过程: 首先,我们有一个平台相关的入口: Windows上是wWinMain(),Linux上是main()。这存在于chrome/app/chrome_exe_main_* 这样的文件中。在Mac和Windows上,这个函数会加载下面所描述的模块,在Linux上,它会做很少事情,几个平台上,它们最

  • 启动容器 启动容器有两种方式,一种是基于镜像新建一个容器并启动,另外一个是将在终止状态(stopped)的容器重新启动。 因为 Docker 的容器实在太轻量级了,很多时候用户都是随时删除和新创建容器。 新建并启动 所需要的命令主要为 docker run。 例如,下面的命令输出一个 “Hello World”,之后终止容器。 $ docker run ubuntu:18.04 /bin/echo

  • 本部分包括启动 JDV 6.3 以及部署测试 VDB 测试。 启动使用端口偏移,并绑定 IP 地址启动 jdv@A1DB01 jboss-eap-6.4]$ ./bin/standalone.sh -Djboss.socket.binding.port-offset=100 -b 0.0.0.0 -bmanagement=0.0.0.0 2>&1 > ./console.log & 验证启动 查看

  • 从文件夹内部执行“npm start”命令时出现以下错误/ 我在互联网上尝试了多种解决方案,但都无效。