ApacheSpark：用户内存vs Spark内存

Question

我正在构建一个Spark应用程序，我必须在其中缓存大约15GB的CSV文件。我在这里读到了Spark 1.6中引入的新UnifiedMemoryManager：

https://0x0fff.com/spark-memory-management/

作者在用户内存和火花内存之间有所不同（火花内存又分为存储内存和执行内存）。正如我所了解的，Spark内存对于执行（洗牌、排序等）和存储（缓存）东西是灵活的——如果一个需要更多内存，它可以从另一个部分使用它（如果尚未完全使用）。这个假设正确吗？

用户内存描述如下：

用户内存。这是Spark内存分配后剩下的内存池，完全由你决定以你喜欢的方式使用它。你可以在那里存储你自己的数据结构，这些结构将用于RDD转换。例如，你可以通过使用映射分区转换来重写Spark聚合，为该聚合运行维护哈希表，这将消耗所谓的用户内存。[...]再说一遍，这是用户内存，它完全取决于你将在这个内存中存储什么以及如何存储，Spark完全不考虑你在那里做什么以及你是否尊重这个边界。代码中不尊重此边界可能会导致OOM错误。

我如何访问这部分内存，或者Spark如何管理这部分内存？

为了达到我的目的，我只需要有足够的存储内存（因为我不做类似于shuffle，加入等事情）？那么，我可以将spark.memory.storageFraction属性设置为1.0吗？

对我来说，最重要的问题是，用户内存如何？为什么，尤其是为了我上述的目的？

当我将程序更改为使用一些自己的类时，使用内存是否有区别，例如RDD

下面是我的代码片段（在基准测试应用程序中多次从Livy Client调用它。我使用的是Spark 1.6.2和Kryo序列化。

JavaRDD<String> inputRDD = sc.textFile(inputFile);

// Filter out invalid values
JavaRDD<String> cachedRDD = inputRDD.filter(new Function<String, Boolean>() {
    @Override
    public Boolean call(String row) throws Exception {
        String[] parts = row.split(";");

        // Some filtering stuff

        return hasFailure;
    }
}).persist(StorageLevel.MEMORY_ONLY_SER());




Answer 1

统一内存管理器

1） 堆上：对象在JVM堆上分配，并由GC绑定。

2） 堆外：对象通过序列化在JVM之外的内存中分配，由应用程序管理，不受GC绑定。这种内存管理方法可以避免频繁的GC，但缺点是必须编写内存分配和内存释放的逻辑。

堆上：

存储内存：主要用于存储Spark缓存数据，如RDD缓存、广播变量、展开数据等。

执行内存/洗牌内存：主要用于存储洗牌、联接、排序、聚合等计算过程中的临时数据。

用户内存：主要用于存储RDD转换操作所需的数据，如RDD依赖关系的信息。

保留内存：内存是为系统保留的，用于存储Spark的内部对象。

堆外内存：-1）存储内存（洗牌内存）2）执行内存