Apache Ignite中可能存在内存泄漏？

Question

我试图将Ignite用作键值对的内存数据库，其值范围从50MB到800MB不等。看起来Ignite通过JVM分配堆空间，它从不清理，即使缓存条目离开堆，被清除，没有连接的客户机和运行的操作。我的机器将无法处理这样的内存消耗，因此我正在寻找一种方法来清理一些内存。

我的测试场景如下：

null

我正在使用pyignite瘦客户机，通过python脚本在本地测试Ignite：

client = Client()
client.connect('localhost', 10800)

my_cache = client.get_or_create_cache('default')
my_cache.clear()

data = createData() #creates 800 000 000 bytes test data

def put(caches):
  i = caches
  while i > 0:
    my_cache.put('my key' + str(i), data)
    i -= 1

put(5)

my_cache.remove_all()
my_cache.destroy()
client.close()

该脚本将800 MB的数据顺序写入5个不同的缓存项中。下面的快照说明了Ignite的堆是如何增长到峰值的，这本身是可以理解的，但之后即使在执行GC之后，堆也会保持在10GB左右：

点火堆

使用相同的数据执行第二次测试运行不会在GC之后导致更大的堆消耗，这使我相信Ignite在内部为传入数据分配缓冲区，这些缓冲区与数据的大小相对应。这个内存消耗太大了，从长远来看，我的机器将无法处理它。

ignite配置非常简单：

<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="
        http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans.xsd">
    <bean id="ignite.cfg" class="org.apache.ignite.configuration.IgniteConfiguration">
        
        <!-- Durable memory configuration. -->
        <property name="dataStorageConfiguration">
            <bean class="org.apache.ignite.configuration.DataStorageConfiguration">
            <property name="dataRegionConfigurations">
                <list>
                <bean class="org.apache.ignite.configuration.DataRegionConfiguration">
                    <!-- Custom region name. -->
                    <property name="name" value="10GB_Region"/>
                    <!-- 100 MB initial size. -->
                    <property name="initialSize" value="#{100L * 1024 * 1024}"/>
                    <!-- 10GB maximum size. -->
                    <property name="maxSize" value="#{10096L * 1024 * 1024}"/>
                </bean>
                
                </list>
            </property>
                <!-- Redefining the default region's settings -->
                <property name="defaultDataRegionConfiguration">
                    <bean class="org.apache.ignite.configuration.DataRegionConfiguration">
                        <property name="name" value="Default_Region"/>
                        <property name="maxSize" value="#{5L * 1024 * 1024 * 1024}"/>
                    </bean>
                </property>
            </bean>
        </property>



        <property name="cacheConfiguration">
            <list>
                <!-- Partitioned cache example configuration (Atomic mode). -->
                <bean class="org.apache.ignite.configuration.CacheConfiguration">
                    <property name="name" value="default"/>
                    <property name="atomicityMode" value="ATOMIC"/>
                    <property name="backups" value="1"/>
                    <property name="dataRegionName" value="10GB_Region"/>
                </bean>
            </list>
        </property>

        <property name="discoverySpi">
            <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">
                <property name="ipFinder">
                    <bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.multicast.TcpDiscoveryMulticastIpFinder">
                        <property name="addresses">
                            <list>
                                <value>127.0.0.1:47500..47509</value>
                            </list>
                        </property>
                    </bean>

                </property>
            </bean>
        </property>
    </bean>
</beans>

• Ignite visor明确表示缓存处于堆外
• VisualVM直方图显示98%的活字节映射到byte[]
• 似乎有客户端连接器线程和数据流带线程仍然处于打开状态，缓存中每个put操作都有一个线程，但我不确定它们需要多少堆
• 在my_cache.put中提供值提示没有帮助
• cache.clear()、cache.destroy()没有帮助（而且应该没有帮助，因为缓存在堆外）

任何帮助都将非常感谢！

Answer 1

1. Apache Ignite默认情况下不在堆中保存数据，而是在堆外保存数据。
2. APAHCE Ignite在删除数据时确实不会释放off-heap，但它允许在接收新数据时重新使用所述off-heap。
3. 根本不清楚为什么您的工具会报告使用~16G堆，因为在提供的配置中，Ignite使用的MB不应该超过几百个。如果这不仅仅是堆，而是所有的内存，那么你就可以了。您应该预计应该分配10G。不清楚为什么它在大小字段中报告更多。