Zeppelin+Spark+Kubernetes:让Zeppelin作业在现有Spark集群上运行
在k8s集群中。如何配置zeppelin在现有spark集群中运行spark作业，而不是旋转一个新的Pod？
我有一个k8s集群正在运行，我想在其中运行与齐柏林飞艇的火花。
Spark使用官方的Bitnami/Spark helm chart(v3.0.0)进行部署。我有一个主舱和两个工人舱运转良好，一切都很好。
短伪DockerFile：
FROM bitnami/spark:3.0.0 AS spark
FROM apache/zeppelin:0.9-0 AS Zeppelin
COPY --from spark /opt/btinami/spark/ /opt/bitnami/spark
RUN Install kubectl
END
我稍微修改了zeppelin-server.yaml。（Image,imagePullSecret,将spark master设置为spark master的无头服务DNS）
现在我想让我的齐柏林作业在我现有的spark集群上运行---但没有成功。
亲切地问候鲍勃
共有1个答案
过了一段时间才回答自己...
对于遇到同样问题的人：
>
进入spark解释器设置
-
null
-
我一直试图用Spark2.0配置Apache Zeppeling。我设法将它们都安装在linux操作系统上，并将spark设置在8080端口上，而zeppelin服务器设置在8082端口号上。 在zeppelin的zeppelin-env.sh文件中，我将SPARK_HOME变量设置为Spark文件夹的位置。 然而，当我试图创建一个新节点时，没有正确的编译。我似乎没有配置解释器，因为开始选项卡中缺
-
正如标题所预期的，我在向docker上运行的spark集群提交spark作业时遇到了一些问题。 我在scala中写了一个非常简单的火花作业，订阅一个kafka服务器，安排一些数据，并将这些数据存储在一个elastichsearch数据库中。 如果我在我的开发环境（Windows/IntelliJ）中从Ide运行spark作业，那么一切都会完美工作。 然后（我一点也不喜欢java），我按照以下说明添
-
我已经在我的Windows7机器上设置了一个本地spark集群（一个主节点和辅助节点）。我已经创建了一个简单的scala脚本，我用sbt构建了这个脚本，并尝试用Spark-Submit运行这个脚本。请参阅以下资源 Scala代码： 现在，我用sbt构建并打包scala代码，并将其打包到一个JAR中。我的build.sbt文件如下所示 它创建一个jar，我使用spark submit命令提交它，如下
-
我有一个在AWS EC2机器上运行的HortonWorks集群，我想在上面运行一个使用spark streaming的spark工作，该工作将吞下tweet concernings《权力的游戏》。在尝试在集群上运行它之前，我确实在本地运行了它。代码正在工作，如下所示： 我的问题更确切地说是关于这段特定代码行： 17/07/24 11:53:42 INFO AppClient$ClientEndpo
-
我正在Linux服务器上运行Spark2.0和Zeppelin-0.6.1-bin。默认的spark笔记本运行得很好，但当我尝试使用sqlContext在pyspark中创建并运行一个新笔记本时，我得到错误“py4j.py4jException:Method createDataFrame([class java.util.ArrayList,class java.util.ArrayList,n
-
我已经安装了火花图表在我的k8s集群掌舵，我有3个豆荚运行1个主和2个执行，但仍然能够提交火花作业...在“提交应用程序”一节https://github.com/bitnami/charts/tree/master/bitnami/spark中提到我们可以使用。/bin/spark-submit--class org.apache.spark.examples.sparkpi--master s