在kubernetes上运行spark
我已经安装了火花图表在我的k8s集群掌舵，我有3个豆荚运行1个主和2个执行，但仍然能够提交火花作业...在“提交应用程序”一节https://github.com/bitnami/charts/tree/master/bitnami/spark中提到我们可以使用。/bin/spark-submit--class org.apache.spark.examples.sparkpi--master spark://:--deploy-mode cluster./examples/jars/spark-examples2.11-2.4.3.jar 1000但是从哪里？？从我们本地的机器？从火花大师舱里？有什么需要帮忙的吗？
共有1个答案
Bitnami工程师在这里，当你安装spark的图表时会出现以下几行：
...
2. Submit an application to the cluster:
To submit an application to the cluster the spark-submit script must be used. That script can be obtained at https://github.com/apache/spark/tree/master/bin. Also you can use kubectl run.
export EXAMPLE_JAR=$(kubectl exec -ti --namespace default spark-worker-0 -- find examples/jars/ -name 'spark-example*\.jar' | tr -d '\r')
kubectl exec -ti --namespace default spark-worker-0 -- spark-submit --master spark://spark-master-svc:7077 \
--class org.apache.spark.examples.SparkPi \
$EXAMPLE_JAR 5
...
-
null 大多数文档描述了如何在Kubernetes上运行Spark集群。在Kubernetes上独立运行Spark的方法是什么？
-
我正在kubernetes上试用最新版本的Flink1.5的flink工作。 我的问题是如何在上面的flink集群上运行一个示例应用程序。flink示例项目提供了如何使用flink应用程序构建docker映像并将该应用程序提交给flink的信息。我遵循了这个例子，只是把flink的版本改成了最新版本。我发现应用程序（example-app）提交成功，并且在kubernetes的pod中显示，但是f
-
我现在尝试在Kubernetes集群上运行一个带有shell（/bin/bash）的简单容器。 我认为有一种方法可以通过使用和detach选项(命令上的选项）来保持容器在Docker容器上运行。 但是容器会退出几秒钟（就像使用命令启动一样，没有上面提到的选项）。并且ReplicationController重复地再次启动它。 是否有一种方法可以像命令中的选项一样，使容器在Kubernetes上运行
-
问题内容： 我现在正在尝试在Kubernetes集群上运行带有shell（/ bin / bash）的简单容器。 我以为有一种方法可以通过使用and detach选项（命令上的选项）来保持容器在Docker容器上运行。 例如， Kubernetes中有这样的选择吗？ 我试过使用类似以下的命令来运行容器： 但是容器会退出几秒钟（就像使用不带我上面提到的选项的命令启动一样）。然后Replication
-
我有以下由Dockerfile文件创建的图像: 我有以下YAML文件： 当我创建部署时，我在窗格中获得了以下信息: 并且错误： 真的有必要在docker中为此注册吗？我只想在本地进行测试，并将我的代码/存储库传递给朋友以进行测试 谢谢
-
如果您有一个Kubernetes集群，或者仅仅是运行Minikube，则将Linkerd部署为服务网格是开始的最快方式。它不仅部署非常简单，还适用于大多数生产用例，提供服务发现，仪器仪表，智能客户端负载均衡，熔断器和开箱即用的动态路由。 Linkerd服务网格被部署为Kubernetes DaemonSet，在集群的每个节点上运行一个Linkerd pod。在Kubernetes中运行的应用程序可