当前位置: 首页 > 面试题库 >

在星团模式下运行齐柏林飞艇

訾晋
2023-03-14
问题内容

我正在docker容器中的纱线模式下使用本教程的火花群集在纱线模式下的火花群集中启动齐柏林飞艇。但是我陷入了第4步。我在Docker容器中找不到conf / zeppelin-
env.sh来进行进一步的配置。我尝试将这些齐柏林飞艇的conf文件夹放入,但是现在成功了。除了那个齐柏林飞艇笔记本电脑也没有运行在本地主机上:9001。

我对分布式系统非常陌生,如果有人可以帮助我以纱线模式在火花簇上启动齐柏林飞艇,那就太好了。

这是我的docker-compose文件,用于通过星火群集启用Zeppelin Talk。

version: '2'
services:
sparkmaster:
  build: .
  container_name: sparkmaster
ports:
  - "8080:8080"
  - "7077:7077" 
  - "8888:8888"
  - "8081:8081"
  - "8082:8082"
  - "5050:5050"
  - "5051:5051"
  - "4040:4040"
zeppelin:
  image: dylanmei/zeppelin
  container_name: zeppelin-notebook
env_file:
  - ./hadoop.env
environment:
  ZEPPELIN_PORT: 9001
  CORE_CONF_fs_defaultFS: "hdfs://namenode:8020"
  HADOOP_CONF_DIR_fs_defaultFS: "hdfs://namenode:8020"
  SPARK_MASTER: "spark://spark-master:7077"
  MASTER: "yarn-client"
  SPARK_HOME: spark-master
  ZEPPELIN_JAVA_OPTS: >-
    -Dspark.driver.memory=1g
    -Dspark.executor.memory=2g
ports:
  - 9001:9001
volumes:
  - ./data:/usr/zeppelin/data
  - ./notebooks:/usr/zeppelin/notebook

问题答案:

这是您用来启动独立Spark集群的dockerfile。

  • https://github.com/apache/zeppelin/blob/master/scripts/docker/spark-cluster-managers/spark_standalone/Dockerfile

但是容器内没有Zeppelin实例,因此您必须在本地计算机上使用Zeppelin。

请下载并使用它。



 类似资料:
  • 我想在Zeppelin中阅读csv文件,并想使用Databricks的spark-csv包:https://github.com/databricks/spark-csv 提前感谢!

  • 已尝试执行 投掷: hiveDriver class java.lang.ClassNotFoundException java.net.urlClassLoader.FindClass(urlClassLoader.java:381)java.lang.ClassLoader.LoadClass(classLoader.java:424)sun.misc.launcher$appClassLoa

  • 我最近一直在尝试用C实现一个Perlin噪声发生器(基于Ken Perlin的网站,使用SDL库作为屏幕输出),但输出显示插值块之间的边不是连续的或平滑的-插值块确实表现为块。 我很确定我的代码中缺少了一些东西,或者做错了,但我似乎找不到它。 作为参考,我的当前代码如下: 用法:跑步时,按住上下键可放大或缩小噪声网格。

  • 飞行模式切断来自 A370 的所有无线通讯。虽然您仍可使用它,但您不能利用 Polar Flow 移动应用程式同步数据,也不能将它与任何无线配件一起使用。 打开飞行模式 进入设置 。 轻击飞行图标 ,将显示“飞行模式启用”并且该图标将变绿。飞行图标出现在时间视图中。 ​关闭飞行模式 进入设置。 点击图标,将显示“飞行模式关闭”。

  • 在飞行模式中,M600 的蓝牙与 Wi-Fi 连接关闭。您仍可使用此智能手表的某些基本功能,例如,您可使用 Polar 应用程式以及基于手腕的心率监测功能进行训练。但您不能利用 Polar Flow 移动应用程式同步数据,也不能将 M600 与任何无线配件一起使用。 打开/关闭飞行模式 请确保您的 M600 显示屏处于启动状态且您当前处于主屏幕上。 从屏幕顶端向下滑动进入 Quick settin

  • 可停用PS Vita所有网络功能。 轻触方格,即可启用设定。 警告 无线电波可能会影响电子设备或医疗设备(例如心律调整器),可能会导致这些设备故障或人身受伤。 若您有使用心律调整器或其它医疗设备,请在使用网络功能前,先询问您的主治医生或您使用医疗设备的制造厂商。 请勿在下列场所使用网络功能。 禁止使用无线网络的场所,如:医院或飞机上。在该场所使用主机时,请遵守其规定 接近火灾警报器、自动门或其它类