是否存在火花默认值。与pip一起安装pyspark时的conf

Question

我用pip安装了pyspark。我在jupyter笔记本中编码。一切正常，但我在导出大型时遇到java堆空间错误。csv文件。这里有人建议编辑spark默认值。配置。同样在spark文档中，它说

注意：在客户端模式下，不能直接在应用程序中通过SparkConf设置此配置，因为此时驱动程序JVM已经启动。请通过--driver memory命令行选项或在默认属性文件中设置此配置

但是用pip安装pyspark时恐怕没有这样的文件。我对吗？我该如何解决这个问题？

谢啦！

Answer 1

火花默认值。当我们必须更改spark的任何默认配置时，都需要配置文件。

正如@niuer所建议的，它应该出现在$SPARK\u HOME/conf/code>目录中。但你可能不是这样。默认情况下，那里将存在模板配置文件。您只需添加一个新的火花默认值即可。conf文件位于$SPARK\U HOME/conf中。

Answer 2

火花默认值。conf文件应位于：

$SPARK_HOME/conf

如果没有文件，请创建一个（模板应位于同一目录中）。

如何找到默认配置文件夹

在Python中检查文件夹的内容：

import glob, os
glob.glob(os.path.join(os.environ["SPARK_HOME"], "conf", "spark*"))
# ['/usr/local/spark-3.1.2-bin-hadoop3.2/conf/spark-env.sh.template',
#  '/usr/local/spark-3.1.2-bin-hadoop3.2/conf/spark-defaults.conf.template']

当否时，默认设置为spark。conf文件可用，使用内置值

令我惊讶的是，没有火花默认值。conf，但只存在一个模板文件！

我仍然可以在Web UI的“环境”选项卡中查看Spark属性：//

from pyspark.sql import SparkSession
spark = SparkSession \
        .builder \
        .appName("myApp") \
        .getOrCreate()

spark.sparkContext.getConf().getAll()
# [('spark.driver.port', '55128'),
#  ('spark.app.name', 'myApp'),
#  ('spark.rdd.compress', 'True'),
#  ('spark.sql.warehouse.dir', 'file:/path/spark-warehouse'),
#  ('spark.serializer.objectStreamReset', '100'),
#  ('spark.master', 'local[*]'),
#  ('spark.submit.pyFiles', ''),
#  ('spark.app.startTime', '1645484409629'),
#  ('spark.executor.id', 'driver'),
#  ('spark.submit.deployMode', 'client'),
#  ('spark.app.id', 'local-1645484410352'),
#  ('spark.ui.showConsoleProgress', 'true'),
#  ('spark.driver.host', 'xxx.xxx.xxx.xxx')]

请注意，未列出所有属性，但：

只有通过spark-defaults.conf、SparkConf或命令行显式指定的值。对于所有其他配置属性，您可以假设使用了默认值。

例如，在我的例子中，默认的并行性是：

spark._sc.defaultParallelism
8

这是本地模式的默认值，即本地机器上的内核数——参见https://spark.apache.org/docs/latest/configuration.html.在我的例子中，由于超线程，8=2x4core。

如果传递了属性spark。违约启动应用程序时的并行性

spark = SparkSession \
        .builder \
        .appName("Set parallelism") \
        .config("spark.default.parallelism", 4) \
        .getOrCreate()

然后，该属性将显示在Web UI和列表中

spark.sparkContext.getConf().getAll()

配置设置的优先级

Spark将按以下顺序考虑给定的属性（Spark defaults.conf排在最后）：

1. SparkConf
2. 传递给spark submit的标志
3. <代码>spark默认值。形态

从…起https://spark.apache.org/docs/latest/configuration.html#dynamically-加载spark属性：

直接在SparkConf上设置的属性具有最高的优先级，然后是传递给spark submit或spark shell的标志，然后是spark默认值中的选项。conf文件。自早期版本的Spark以来，一些配置密钥已被重命名；在这种情况下，旧的密钥名称仍然可以接受，但其优先级低于新密钥的任何实例。

请注意，一些pyspark Jupyter内核在环境变量$pyspark\u submit\u ARGS中包含spark submit的标志，因此可能也需要检查这一点。

相关问题：在何处修改spark默认值。conf如果我通过pip安装pyspark安装pyspark

Answer 3

我最近也遇到了这个问题。如果查看类路径条目下的Spark UI，第一个路径可能是配置目录，类似于/lib/python3。7/site-packages/pyspark/conf/。当我查找那个目录时，它不存在；大概这不是pip安装的一部分。但是，您可以轻松地创建它并添加自己的配置文件。例如

mkdir /.../lib/python3.7/site-packages/pyspark/conf
vi /.../lib/python3.7/site-packages/pyspark/conf/spark-defaults.conf