火花作业错误超出GC开销限制[重复]

Question

我正在运行一个火花作业，我在spark-defaults.sh.设置了以下配置，我在名称节点中有以下更改。我有1个数据节点。我正在处理2GB的数据。

spark.master                     spark://master:7077
spark.executor.memory            5g
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://namenode:8021/directory
spark.serializer                 org.apache.spark.serializer.KryoSerializer
spark.driver.memory              5g
spark.executor.extraJavaOptions  -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

但我得到一个错误，说GC限制超过。

这是我正在编写的代码。

import os
import sys
import unicodedata
from operator import add 

try:
    from pyspark import SparkConf
    from pyspark import SparkContext
except ImportError as e:
    print ("Error importing Spark Modules", e)
    sys.exit(1)


# delimeter function
def findDelimiter(text):
    sD = text[1] 
    eD = text[2] 
    return (eD, sD) 

def tokenize(text):
    sD = findDelimiter(text)[1]
    eD = findDelimiter(text)[0]
    arrText = text.split(sD)
    text = ""
    seg = arrText[0].split(eD)
    arrText=""
    senderID = seg[6].strip()
    yield (senderID, 1)


conf = SparkConf()
sc = SparkContext(conf=conf)

textfile = sc.textFile("hdfs://my_IP:9000/data/*/*.txt")

rdd = textfile.flatMap(tokenize)
rdd = rdd.reduceByKey(lambda a,b: a+b)
rdd.coalesce(1).saveAsTextFile("hdfs://my_IP:9000/data/total_result503")

我甚至尝试了GroupByKey而不是也。但是我得到了同样的错误。但是，当我试图删除还原ByKey或GroupByKey我得到的输出。有人能帮我解决这个错误吗？

我是否也应该在hadoop中增加GC的大小。正如我前面所说的，我已经将driver.memory设置为5gb，我在名称节点中完成了。我应该在数据节点中也这样做吗？

Answer 1

我能解决这个问题。我在主节点的根用户中运行hadoop。但是我在datanodes中的另一个用户中配置了hadoop。现在，我在数据节点的根用户中配置了它们，并增加了执行器和驱动程序内存，运行良好。

Answer 2

您的代码应该与您的配置一起使用。如前所述，尝试使用G1GC。还可以尝试降低存储内存的比例。默认为60%。尝试将其降低到40%或更低。您可以通过添加spark进行设置。存储memoryFraction 0.4

Answer 3

尝试为您的spark-defaults.sh添加以下设置：

火花驾驶员extraJavaOptions-XX:UseG1GC

火花遗嘱执行人。extraJavaOptions-XX:UseG1GC

调优jvm垃圾收集可能很棘手，但“G1GC”似乎效果不错。值得一试！！