为什么Ignite在网格激活时为JVM分配32GB的额外内部内存？

Question

嗨，我们使用Apache Ignite2.7（8个节点，每个120GB)并配置16GB堆和100GB数据区域（持久化）。使用本机内存跟踪，我们可以看到通常预期的堆、线程等类别与预期的一样，但“内部”（即离堆）是惊人的132GB。这是JVM需要运行的最重要的东西。对于JVM如此巨大的内存请求，系统正被驱动到内存不足的情况（OS内存不足）。

下面是我们正在看到的一个典型的本地内存摘要。注意巨大的内部分配。

本机内存总量：Reserved=156688325KB,Committed=156439245KB-Java堆（Reserved=16777216KB,Committed=16777216KB)(MMAP:Reserved=16777216KB,Committed=16777216KB)-类（Reserved=112257KB,Committed=111489KB)（classes#17951)(Malloc=1665KB#17624)(MMAP:Reserved=110592KB,Committed=109824KB)-线程（Reserved=229015KB,堆栈：保留=228032KB,Committed=228032KB)(Malloc=723KB#1128)(arena=260KB#432)-代码（保留=255790KB,Committed=40250KB)(Malloc=6190KB#11547)(MMAP:保留=249600KB,Committed=34060KB)-GC（保留=704014KB,Committed=704014KB)(Malloc=48654KB#22251)(MMAP:保留=655360KB,Committed=655360KB)-编译器（保留=420KB,=420KB)(malloc=289KB#1284)(arena=131KB#15)-内部(reserved=138544815KB，committed=138544811KB)(malloc=138544779KB#35177)(MMAP:reserved=36KB，committed=32KB)-符号(reserved=26536KB，committed=26536KB)(malloc=24002KB#216741)(arena=2533KB#1)-本机内存TraCing(reserved=4822KB，committed=4822KB)(Malloc=30KB#346)（跟踪Overhead=4791KB)-竞技场块(reserved=673KB，committed=673KB)(Malloc=673KB)-未知(reserved=32768KB，committed=0KB)(MMAP:reserved=32768KB，committed=0KB)

PS

我们将默认数据区域设置为128MB，systemRegionMaxSize设置为8GB，systemRegionInitialSize设置为512MB。

配置：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="         http://www.springframework.org/schema/beans         http://www.springframework.org/schema/beans/spring-beans.xsd">
  <bean id="ignite.cfg" class="org.apache.ignite.configuration.IgniteConfiguration">
    <property name="gridLogger">
      <bean class="org.apache.ignite.logger.log4j.Log4JLogger">
        <constructor-arg type="java.lang.String" value="/opt/ignite/apache-ignite/config/log4j.xml"/>
      </bean>
    </property>
    <property name="metricsLogFrequency" value="600000"/>
    <property name="rebalanceThreadPoolSize" value="12"/>
    <property name="peerClassLoadingEnabled" value="true"/>
    <property name="publicThreadPoolSize" value="32"/>
    <property name="systemThreadPoolSize" value="32"/>
    <property name="workDirectory" value="/data/ignite/work"/>
    <property name="segmentationPolicy" value="RESTART_JVM"/>
    <property name="dataStorageConfiguration">
      <bean class="org.apache.ignite.configuration.DataStorageConfiguration">
        <property name="checkpointReadLockTimeout" value="0"/>
        <property name="systemRegionInitialSize" value="#{512L * 1024 * 1024}"/>
        <property name="systemRegionMaxSize" value="#{8L * 1024 * 1024 * 1024}"/>
        <property name="storagePath" value="/data/ignite/persistentStore"/>
        <property name="defaultDataRegionConfiguration">
          <bean class="org.apache.ignite.configuration.DataRegionConfiguration">
            <property name="name" value="Default_Region"/>
            <property name="initialSize" value="67108864"/>
            <property name="maxSize" value="134217728"/>
            <property name="persistenceEnabled" value="false"/>
            <property name="metricsEnabled" value="true"/>
          </bean>
        </property>
        <property name="dataRegionConfigurations">
          <list>
            <bean class="org.apache.ignite.configuration.DataRegionConfiguration">
              <property name="name" value="Tiered_Region"/>
              <property name="initialSize" value="53687091200"/>
              <property name="maxSize" value="53687091200"/>
              <property name="persistenceEnabled" value="true"/>
              <property name="pageEvictionMode" value="RANDOM_2_LRU"/>
              <property name="evictionThreshold" value="0.75"/>
              <property name="metricsEnabled" value="true"/>
            </bean>
          </list>
        </property>
      </bean>
    </property>
    <property name="cacheConfiguration">
      <list>
        <bean class="org.apache.ignite.configuration.CacheConfiguration">
          <property name="name" value="default"/>
          <property name="atomicityMode" value="ATOMIC"/>
          <property name="backups" value="0"/>
        </bean>
      </list>
    </property>
    <property name="communicationSpi">
      <bean class="org.apache.ignite.spi.communication.tcp.TcpCommunicationSpi">
        <property name="messageQueueLimit" value="#{1 * 1024}"/>
        <property name="idleConnectionTimeout" value="30000"/>
      </bean>
    </property>
    <property name="discoverySpi">
      <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">
        <property name="ipFinder">
          <bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.s3.TcpDiscoveryS3IpFinder">
            <property name="awsCredentials" ref="aws.creds"/>
            <property name="bucketName" value="project-test-xyz"/>
          </bean>
        </property>
      </bean>
    </property>
  </bean>
  <bean id="aws.creds" class="com.amazonaws.auth.BasicAWSCredentials">
    <constructor-arg value="foo"/>
    <constructor-arg value="bar"/>
  </bean>
</beans>

[在下面添加日志]

Answer 1

我认为这是检查点页面缓冲区，默认情况下是数据区域大小的20%。

您可以显式地指定它以确保不会忘记它，并相应地减小区域大小以确保不会用完RAM。

应该只适用于持久区域。

注意，您还应该期望操作系统对其数据结构和块缓存占用一些GBs，所以我认为不应该将120G中的116G分配给Ignite的离堆。也别忘了堆。