如何知道PySpark应用程序的部署模式？

Question

我正在尝试修复内存不足的问题，我想知道是否需要更改spark home文件夹中默认配置文件（spark defaults.conf）中的这些设置。或者，如果我可以在代码中设置它们。

我看到了这个问题PySpark：java。lang.OutofMemoryError:Java堆空间，它说这取决于我是否在客户机模式下运行。我正在群集上运行spark，并使用standalone对其进行监视。

但是，如何确定我是否在客户机模式下运行spark？




Answer 1

从Spark 2开始，以下工作。

for item in spark.sparkContext.getConf().getAll():print(item)

(u'spark.submit.deployMode', u'client') # will be one of the items in the list.

Answer 2

由于sc.deploy模式在PySpark中不可用，您可以检查spark.submit.deploy模式

scala> sc.getConf.get("spark.submit.deployMode")
res0: String = client

使用sc.deploy模式

scala> sc.deployMode
res0: String = client

scala> sc.version
res1: String = 2.1.0-SNAPSHOT

Answer 3

如果您正在运行交互式shell，例如pyspark（CLI或通过IPython笔记本），默认情况下您正在客户端模式下运行。您可以轻松验证您无法在集群模式下运行pyspark或任何其他交互式shell：

$ pyspark --master yarn --deploy-mode cluster
Python 2.7.11 (default, Mar 22 2016, 01:42:54)
[GCC Intel(R) C++ gcc 4.8 mode] on linux2
Type "help", "copyright", "credits" or "license" for more information.
Error: Cluster deploy mode is not applicable to Spark shells.

$ spark-shell --master yarn --deploy-mode cluster
Error: Cluster deploy mode is not applicable to Spark shells.

检查bin/pyspark文件的内容也可能很有指导意义-下面是最后一行（实际可执行文件）：

$ pwd
/home/ctsats/spark-1.6.1-bin-hadoop2.6
$ cat bin/pyspark
[...]
exec "${SPARK_HOME}"/bin/spark-submit pyspark-shell-main --name "PySparkShell" "$@"

i、 e.pyspark实际上是一个由spark submit运行的脚本，命名为PySparkShell，您可以在spark History Server UI中找到它；由于它是这样运行的，所以它会使用其spark submit命令中包含的任何参数（或默认值）。