并行化步骤中的火花内存错误

Question

我们正在使用最新的Spark构建。我们有一个非常大的元组列表（8亿）作为输入。我们使用具有主节点和多个工作节点的docker容器运行Pyspark程序。驱动程序用于运行程序并连接到主机。

运行程序时，在sc.parallelize（tuplelist）行，程序要么退出并显示java堆错误消息，要么完全退出而不出错。我们不使用任何Hadoop HDFS层，也不使用纱线。

到目前为止，我们已经考虑了这些so帖子中提到的可能因素：

• Spark java。lang.OutOfMemoryError：Java堆空间
• Spark java。lang.OutOfMemoryError:Java堆空间（samthebest列出的可能解决方案也无助于解决此问题）

在这一点上，我们有以下问题：

• 我们如何知道sc.parallelize步骤应该使用多少分区？这里有什么好的经验法则？
• 你知道有什么（常见的？）错误可能导致观察到的行为吗？

Answer 1

How do we know how many partitions we should use for the sc.parallelize step? What is here a good rule-of-thumb?

Ans：有多种因素决定分区的数量。

1）在某些情况下，拥有3-4 X倍于内核的分区数量将是很好的情况（考虑到每个分区将处理超过几秒钟）

2） 分区不能太小或太大（128MB或256MB）就足够了

Do you know any (common?) mistake which may lead to the observed behevior?

您可以检查可用于运行大小的执行程序内存和磁盘。

如果您可以指定有关作业的更多详细信息，例如核心数量、执行器内存、执行器数量和可用磁盘，那么指出问题将很有帮助。