为什么Spark RDD分区对HDFS有2GB的限制？

Question

我在使用mllib RAnywhere Forest训练数据时出错。由于我的数据集很大，默认分区相对较小。所以抛出一个异常，指示“大小超过整数。MAX_VALUE”，原始堆栈跟踪如下，

15/04/16 14:13:03警告调度程序。TaskSetManager:在6.0阶段（TID 120，10.215.149.47）丢失了Task19.0：java。lang.IllegalArgumentException:大小超过整数。太阳下的最大值
。尼奥。总经理。地图（FileChannelImpl.java:828）位于org。阿帕奇。火花存储DiskStore。在org上获取字节（DiskStore.scala:123）。阿帕奇。火花存储DiskStore。org上的getBytes（DiskStore.scala:132）。阿帕奇。火花存储BlockManager。doGetLocal（BlockManager.scala:517）位于org。阿帕奇。火花存储BlockManager。getLocal（BlockManager.scala:432）位于org。阿帕奇。火花存储BlockManager。在org上获取（BlockManager.scala:618）。阿帕奇。火花缓存管理器。putInBlockManager（CacheManager.scala:146）位于org。阿帕奇。火花缓存管理器。公司经理（ScalCompute:70）

整数。最大大小为2GB，似乎有些分区内存不足。所以我将我的rdd分区重新分区到1000，这样每个分区可以像以前一样容纳更少的数据。问题终于解决了！！！

所以，我的问题是：为什么分区大小有2G限制？火花中似乎没有为限制设置配置

Answer 1

Spark 2.4.0版本通过将块数据复制为流来消除这一限制。详见Spark-24926。

Answer 2

问题是当使用Casandra、HBase或Accumulo等数据存储时，块大小是基于数据存储拆分（可能超过10 gig）。从这些数据存储加载数据时，您必须立即重新分区1000个分区，以便您可以在不超出2gig限制的情况下操作数据。

大多数使用火花的人并没有真正使用大数据；对他们来说，如果excel可以容纳或tableau对他们来说是大数据；大多数数据科学家使用高质量的数据或使用足够小的样本量来处理极限。

在处理大量数据时，我不再需要返回mapreduce，只在数据清理后使用spark。然而，不幸的是，spark社区的大多数人对解决这个问题没有兴趣。

一个简单的解决方案是创建一个抽象并使用字节数组作为默认值；但是，允许使用64位数据指针重载火花作业来处理大型作业。

Answer 3

火花中块的基本抽象是一个ByteBuffer，不幸的是，它的限制是整数。MAX_VALUE（~2GB）。

这是一个关键问题，它会阻止spark在非常大的数据集上使用。增加分区的数量可以解决这个问题（如OP的情况），但并不总是可行的，例如当存在大量转换链时，部分转换链可能会增加数据（flatMap等），或者在数据倾斜的情况下。

提出的解决方案是提出一个像LargeByteBuffer这样的抽象，它可以支持一个块的字节缓冲区列表。这会影响整个火花架构，所以它很长一段时间都没有解决。