Java堆空间

Question

我面临一些关于内存问题的问题，但我无法解决它。非常感谢您的帮助。我不熟悉Spark和pyspark功能，试图读取大约5GB大小的大型JSON文件，并使用

df = spark.read.json("example.json")

每次运行上述语句时，都会出现以下错误：

java.lang.OutOfMemoryError : Java heap space

我需要以RDD的形式获取JSON数据，然后使用SQLSpark进行操作和分析。但是我在第一步（读取JSON）本身就出错了。我知道要读取如此大的文件，需要对Spark会话的配置进行必要的更改。我遵循了Apache Spark给出的答案：由于阶段失败而中止作业：“TID x因未知原因失败”和Sparkjava.lang.OutOfMemoryError：Java堆空间

我试图更改我的Spark会话的配置，但我想我可能误解了一些设置。以下是我的火花配置。

spark = SparkSession \
.builder \
.appName("Python Spark SQL basic example") \
.config("spark.memory.fraction", 0.8) \
.config("spark.executor.memory", "14g") \
.config("spark.driver.memory", "12g")\
.config("spark.sql.shuffle.partitions" , "8000") \
.getOrCreate()

我为驱动程序内存和执行器内存等不同参数设置的值是否有任何错误。除此之外，我还需要设置更多的配置参数吗？

Answer 1

尝试使用：

df = spark.read.json("example.json").repartition(100)

这是由于在太小的分区之间无序移动数据，并且内存开销将所有分区都放在堆内存中。

我的建议是减少火花。sql。洗牌将分区值降至最低，并尝试使用重新分区或并行性来增加输入/中间数据帧的分区。

spark = SparkSession \
  .builder \
  .appName("Python Spark SQL basic example") \
  .config("spark.memory.fraction", 0.8) \
  .config("spark.executor.memory", "14g") \
  .config("spark.driver.memory", "12g")\
  .config("spark.sql.shuffle.partitions" , "800") \
  .getOrCreate()