Apache Spark:在Spark独立模式下禁用Spark Web UI
我正在以客户端部署模式的独立模式运行Apache Spark 2.1.1。我想为主服务器和所有工作人员禁用 Spark 网页 UI。
参考：https://spark.apache.org/docs/latest/configuration.html#spark-ui 和在$SPARK_HOME/conf/spark-defaults.conf中的以下配置使用：
spark.ui.showConsoleProgress=false
spark.ui.enabled=false
spark.ui.killEnabled=false
然而，我仍然可以在默认端口8080（火花大师和火花工作线程8081）看到Web UI。我在所有工作线程节点中具有相同的配置。
共有1个答案
似乎他们没有办法禁用Spark Master UI。
但是，您可以使用/spark master更改其运行的端口。sh-p端口如下所述：https://spark.apache.org/docs/latest/spark-standalone.html#cluster-启动脚本
最后，您可以构建一个脚本，在spark主机之后使用特定端口终止进程。她已经跑了。
希望能有点帮助。
-
我已经在我的本地安装了mesos，并按照mesos设置中提到的进行了配置。现在我想在本地机器上安装的mesos上运行spark。我已经根据官方文档配置了spark，并在我的本地机器上运行了单节点hadoop集群。Spark二进制包被复制到hdfs根目录，我已经在spark-env.sh中设置了以下属性： 是Spark-Defaults.conf：
-
我试着在本地写文件，这是工作良好的....可能是配置中的问题。 这些是pom.xml中的依赖项
-
/usr/local/spark-1.2.1-bin-hadoop2.4/bin/--类com.fst.firststep.aggregator.firststepmessageProcessor--主spark://ec2-xx-xx-xx-xx.compute-1.amazonaws.com:7077--部署模式集群--监督文件：///home/xyz/sparkstreaming-0.0.1
-
如何确定spark独立群集模式上的工作线程数？在独立群集模式下添加工作线程时，持续时间将缩短。 例如，对于我的输入数据3.5 G，WordCount需要3.8分钟。但是，在我添加了一个内存为4 G的工作器后，需要2.6分钟。 增加调谐火花的工人可以吗？我正在考虑这方面的风险。 我的环境设置如下：， 内存128克，16个CPU，用于9个虚拟机 输入数据信息 HDFS中的3.5 G数据文件
-
抛出错误 到目前为止，我在Hadoop中只有start-dfs.sh，在Spark中并没有真正配置任何内容。我是否需要使用YARN集群管理器来运行Spark，以便Spark和Hadoop使用相同的集群管理器，从而可以访问HDFS文件？ 我尝试按照tutorialspoint https://www.tutorialspoint.com/Hadoop/hadoop_enviornment_setup
-
工人出现在图片上。为了运行我的代码，我使用了以下命令：