Ignite DataStreamer中可能存在内存泄漏

Question

我正在启用持久性的Kubernetes集群中运行Ignite。每台机器都有一个24GB的Java堆，20GB专用于持久内存，内存限制为110GB。我的相关JVM选项是-xx:+alwayspretouch-xx:+useg1gc-xx:+scavengeBeforefullgc。在每个节点上运行DataStreamer数小时后，我的集群上的节点达到了它们的k8s内存限制，触发了OOM杀机。运行Java NMT后，我惊讶地发现分配给内部内存的空间数量巨大。

Java Heap (reserved=25165824KB, committed=25165824KB)
(mmap: reserved=25165824KB, committed=25165824KB)  

Internal (reserved=42425986KB, committed=42425986KB)
(malloc=42425954KB #614365) 
(mmap: reserved=32KB, committed=32KB) 

Kubernetes metrics证实了这一点：

“点燃缓存”是内核页面缓存。最后一个面板“heap+durabiled+buffer”是ignite指标heapmemoryused+physicalmemorysize+checkpointbuffersize的总和。

    <property name="dataStorageConfiguration">
        <bean class="org.apache.ignite.configuration.DataStorageConfiguration">
            <property name="metricsEnabled" value="true"/>
            <property name="checkpointFrequency" value="300000"/>
            <property name="storagePath" value="/var/lib/ignite/data/db"/>
            <property name="walFlushFrequency" value="10000"/>
            <property name="walMode" value="LOG_ONLY"/>
            <property name="walPath" value="/var/lib/ignite/data/wal"/>
            <property name="walArchivePath" value="/var/lib/ignite/data/wal/archive"/>               
            <property name="walSegmentSize" value="2147483647"/>
            <property name="maxWalArchiveSize" value="4294967294"/>
            <property name="walCompactionEnabled" value="false"/>
            <property name="writeThrottlingEnabled" value="False"/>
            <property name="pageSize" value="4096"/>                
            <property name="defaultDataRegionConfiguration">
                <bean class="org.apache.ignite.configuration.DataRegionConfiguration">
                    <property name="persistenceEnabled" value="true"/>
                    <property name="checkpointPageBufferSize" value="2147483648"/>
                    <property name="name" value="Default_Region"/>
                    <property name="maxSize" value="21474836480"/>
                    <property name="metricsEnabled" value="true"/>
                </bean>
            </property>
        </bean>
    </property> 

更新：当我禁用持久性时，内部内存将被正确处理：

更新：这里用一个可复制的例子来演示这个问题。它可以在docker至少有22GB内存和50GB存储空间的机器上运行。有趣的是，只有在将字节数组或字符串作为值传入时，泄漏才会真正明显。

Answer 1

设置WalSegmentSize=64MB（或仅删除设置并使用默认值）并设置-xx:MaxDirectMemorySize= 。

在计算Ignite的内存需求时，人们经常忘记的一件事是直接内存缓冲区大小。

直接内存缓冲区是从Java进程中的一个单独空间分配的由JVM管理的缓冲区--它既不是Java堆、点燃数据区域，也不是点燃检查点缓冲区。

这就解释了40GB的内部JVM内存（我认为那是数据区域+direct）。这也解释了为什么在持久性关闭时看不到问题--在这种情况下没有WAL。

>

选择正常的WalSegmentSize。我不知道选择2GB的原因，但如果您确定有小WAL段的问题，我建议选择默认的64MB或256MB。

通过-xx:maxdirectmemorysize= 对JVM的直接内存池设置限制。我发现将其设置为WalSegmentSize*4值是一个安全的选择，即在256MB-1GB范围内的某个地方。