PySpark火花与库伯内特斯大师会话生成器

Question

我最近看到一个pull请求被合并到Apache/Spark存储库中，该存储库显然为K8s上的PySpark添加了初始Python绑定。我在公关上发表了一条评论，问了一个关于如何在Python Jupyter笔记本中使用spark-on-k8s的问题，并被告知在这里问我的问题。

我的问题是：

有没有办法使用PySpark的Spark会话创建SparkContext。生成器主控设置为k8s：//

E、 g.：

from pyspark.sql import SparkSession
spark = SparkSession.builder.master('k8s://https://kubernetes:443').getOrCreate()

我有一个交互式Jupyter笔记本在库伯内特斯pod中运行，我正在尝试使用PySpark创建一个在k8s上运行的SparkContext，而不是求助于使用local[*]作为master。

到目前为止，我一直错误地说：

错误：库伯内特斯目前不支持Python应用程序。

每当我将主控设置为k8s时：//

PySpark似乎总是在客户机模式下运行，目前spark-on-k8s似乎不支持这种模式——也许有一些我不知道的解决方法。

提前感谢！




Answer 1

pyspark客户端模式适用于Spark的最新版本2.4.0

我是这样做的（在木星实验室）：

import os
os.environ['PYSPARK_PYTHON']="/usr/bin/python3.6"
os.environ['PYSPARK_DRIVER_PYTHON']="/usr/bin/python3.6"

from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession

sparkConf = SparkConf()
sparkConf.setMaster("k8s://https://localhost:6443")
sparkConf.setAppName("KUBERNETES-IS-AWESOME")
sparkConf.set("spark.kubernetes.container.image", "robot108/spark-py:latest")
sparkConf.set("spark.kubernetes.namespace", "playground")

spark = SparkSession.builder.config(conf=sparkConf).getOrCreate()
sc = spark.sparkContext

注意：我使用Docker Desktop在Mac上本地运行kubernetes。