当前位置: 首页 > 知识库问答 >
问题:

如何在Kubernetes上独立运行Spark?

逑沛
2023-03-14
    null

大多数文档描述了如何在Kubernetes上运行Spark集群。在Kubernetes上独立运行Spark的方法是什么?

共有1个答案

秦俊
2023-03-14

对于Kubernetes上的独立spark,现有的两个典型示例是:

  1. https://github.com/kubernetes/charts/tree/master/stable/spark
  2. https://github.com/kubernetes/examples/tree/master/staging/spark

它们目前运行的是过时的Spark版本,需要更新到2.1,很快就会更新到2.2。(欢迎PRs:))。

https://github.com/apache-spark-on-k8s/Spark分支不是独立模式,而是旨在使Spark能够直接在Kubernetes集群上发布。它最终将并入上游星火。文档,如果您希望使用它,在这里。

到目前为止,如果您想使用Spark2.1,可以选择:要么编译自己的映像,要么将应用程序与apache-spark-on-k8s中的Spark发行版打包在一起

 类似资料:
  • 我已经在我的本地安装了mesos,并按照mesos设置中提到的进行了配置。现在我想在本地机器上安装的mesos上运行spark。我已经根据官方文档配置了spark,并在我的本地机器上运行了单节点hadoop集群。Spark二进制包被复制到hdfs根目录,我已经在spark-env.sh中设置了以下属性: 是Spark-Defaults.conf:

  • 安装Spark独立模式集群 安装Spark独立模式,你只需要将Spark的编译版本简单的放到集群的每个节点。你可以获得每个稳定版本的预编译版本,也可以自己编译。 手动启动集群 你能够通过下面的方式启动独立的master服务器。 ./sbin/start-master.sh 一旦启动,master将会为自己打印出spark://HOST:PORT URL,你能够用它连接到workers或者作为"m

  • 我正在尝试在Ubuntu上以独立的方式运行Apache地图集 - 这意味着不必设置Solr和/或HBase。我所做的(根据文档:http://atlas.apache.org/0.8.1/InstallationSteps.html)是克隆Git存储库,使用mbadded的HBase和dSolr构建maven项目: 解压缩了 resuting tar.gz 文件并执行了 bin/atlas_sta

  • 我已经安装了火花图表在我的k8s集群掌舵,我有3个豆荚运行1个主和2个执行,但仍然能够提交火花作业...在“提交应用程序”一节https://github.com/bitnami/charts/tree/master/bitnami/spark中提到我们可以使用。/bin/spark-submit--class org.apache.spark.examples.sparkpi--master s

  • 问题内容: 我正在尝试运行selenium服务器,并出现错误: 没有-r(反正是什么?) 我应该如何启动服务器? 如何设置非默认端口来收听? 这两篇文章:1 2-关于语法矛盾。我认为。 问题答案: 如果要指定端口,请执行 从3.8.1开始,不再需要指定驱动程序:

  • 我在独立的Kubernetes(sesion)模式下运行Apache Flink,没有作业管理器HA。但我需要部署作业管理器HA,因为只有在HA模式下,Flink才能持久化(可以在作业管理器重新启动后保存作业)。Flink在专用的kubernetes命名空间中运行,我只对该命名空间拥有权限。 使用本文启用HA:https://ci.apache.org/projects/flink/flink-d