spark可伸缩性：我做错了什么？

Question

我正在用spark处理数据，它可以处理一天的数据(40G)，但用OOM处理一周的数据失败了：

import pyspark
import datetime
import operator
sc = pyspark.SparkContext()
sqc = pyspark.sql.SQLContext(sc)
sc.union([sqc.parquetFile(hour.strftime('.....'))
          .map(lambda row:(row.id, row.foo))
          for hour in myrange(beg,end,datetime.timedelta(0,3600))]) \
  .reduceByKey(operator.add).saveAsTextFile("myoutput")

null

Answer 1

原来问题不是出在火花上，而是出在纱线上。解决方案是用

spark-submit --conf spark.yarn.executor.memoryOverhead=1000

（或修改纱线配置）。