Spark驱动程序内存泄漏

Question

我使用了Spark 2.1.1，并升级到了最新版本2.4.4。我从Spark UI观察到驱动程序内存在不断增加，在长时间运行之后，我出现了以下错误：java。lang.OutOfMemoryError：超出GC开销限制

在Spark 2.1.1中，驱动程序内存消耗（存储内存选项卡）极低，在运行ContextCleaner和BlockManager后，内存正在减少。

此外，我测试了Spark版本2.3.3, 2.4.3我也有同样的行为。

如何再现此行为：

创建一个非常简单的应用程序（streaming count\u file.py）以重现此行为。此应用程序从目录中读取CSV文件，计算行数，然后删除已处理的文件。

import os

from pyspark.sql import SparkSession
from pyspark.sql import functions as F
from pyspark.sql import types as T

target_dir = "..."

spark=SparkSession.builder.appName("DataframeCount").getOrCreate()

while True:
    for f in os.listdir(target_dir):
        df = spark.read.load(f, format="csv")
        print("Number of records: {0}".format(df.count()))

        os.remove(f)
        print("File {0} removed successfully!".format(f))

提交代码：

spark-submit 
--master spark://xxx.xxx.xx.xxx
--deploy-mode client
--executor-memory 4g
--executor-cores 3
--queue streaming count_file.py

具有相同行为的测试案例：

• 我使用默认设置（spark defaults.conf）进行了测试

依赖项

• 操作系统：Ubuntu 16.04.3 LTS
• Java：jdk1.8.0_131（也用jdk1.8.0_221测试）
• Python：Python 2.7.12

Answer 1

最后，Spark UI内存的增加是Spark版本2.3.3以上的一个bug。有一个补丁。这将影响Spark 2.4.5版。

Spark相关问题：

>

Sparkhttps://issues.apache.org/jira/browse/SPARK-29321?page=com.atlassian.jira.plugin.system.issuetabpanels中可能存在内存泄漏