基于Python的kubernetes集群的Spark submit（2.3）

Question

现在k8s在2.3中直接与spark集成了，我的spark submit从控制台在kuberenetes master上正确执行，而没有运行任何spark master pods，spark处理k8s的所有细节：

spark-submit \
  --deploy-mode cluster \
  --class com.app.myApp \
  --master k8s://https://myCluster.com \
  --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
  --conf spark.app.name=myApp \
  --conf spark.executor.instances=10 \
  --conf spark.kubernetes.container.image=myImage \
  local:///myJar.jar

我正在尝试做的是做一个火花-提交通过AWS lambda到我的k8s集群。以前，我直接通过spark master REST API（不使用kubernetes）使用该命令：

request = requests.Request(
    'POST',
    "http://<master-ip>:6066/v1/submissions/create",
    data=json.dumps(parameters))
prepared = request.prepare()
session = requests.Session()
response = session.send(prepared)

而且奏效了。现在，我想集成Kubernetes，并以类似的方式实现，我从python向我的Kubernetes集群提交一个API请求，并让spark处理所有k8s细节，理想情况下是这样的：

request = requests.Request(
    'POST',
    "k8s://https://myK8scluster.com:443",
    data=json.dumps(parameters))

在Spark2.3/Kubernetes集成中有可能吗？

Answer 1

恐怕这对于Spark2.3是不可能的，如果您使用本机的Kubernetes支持的话。

根据部署指令的描述,提交流程容器包含了几个步骤：

1. Spark创建在Kubernetes Pod中运行的Spark驱动程序。
2. 驱动程序创建也在Kubernetes pods中运行的执行程序，并连接到这些执行程序，执行应用程序代码。
3. 当应用程序完成时，执行程序pod终止并被清理，但驱动程序pod将保留日志并保持在Kubernetes API中的“已完成”状态，直到最终被垃圾收集或手动清理为止。