当前位置: 首页 > 知识库问答 >
问题:

在350万大小的编年史地图上迭代的更好方法是什么

黄流觞
2023-03-14
ChronicleMapBuilder
                .of(LongValue.class, ExceptionQueueVOInterface.class)
                .name(MAP_NAME)
                .entries(2_000_000)
                .maxBloatFactor(3)
                .create();
map.forEachEntry(entry -> {
        if(exportSize.get() != MAX_EXPORT_SIZE && TeamQueueFilter.applyFilter(exceptionFilters, entry.value().get(), queType, uid)){
            ExceptionQueue exceptionQueue = getExceptionQueue(entry.value().get());
            if(exceptionFilters.isRts23Selected() || exceptionQueue.getMessageType().equals(MessageType.RTS23.toString())){
                exceptionQueue.setForsId(Constant.BLANK_STRING);
                rts23CaseIdMap.put(String.valueOf(entry.key().get().getValue()), exceptionQueue);
            }else {
                handleMessage(exceptionQueue, entry.key().get(), caseDetailsList);
            }
            exportSize.incrementAndGet();
        }
    });

它总是给我记忆错误。数组大小小于可用内存。这里的任何提示来迭代这个大地图。多谢帮忙。

共有1个答案

邢财
2023-03-14

由于您在这里没有提供任何错误,我不得不猜测,您得到的错误消息类似于java.lang.outofmemoryerror:Direct buffer Memory

Chronicle Map不会在堆上分配它的内容,而是使用离堆内存映射,而且离堆空间可能快用完了。您需要检查磁盘上的编年史映射文件的大小,将使用相同数量的offheap内存来进行Mmapping。

可以使用-xx:maxDirectMemorySize标志调整堆外内存。

 类似资料:
  • 需要一些关于历史记录映射如何工作的信息,它是否像在内存中保留一些键值对,当它溢出了一个特定的阈值,即它存储的值可能如何时,它会将数据溢出到磁盘,或者它取决于内存大小,如果映射大小超过阈值,则会将数据溢出到磁盘,如果是这样,那么如何配置它,还是有其他策略?

  • 在描述中说: 编年史映射提供内存访问速度,并支持超低垃圾收集。编年史地图可以支持最苛刻的应用程序。

  • 我们有一个在50台服务器上使用相同数据集(键值对)的系统。对该数据集的更新数量约为每小时1000次,并且必须在这50台服务器上复制。我们有一个主系统接收这些更新,并负责将这些更新传播到其他服务器。目前,我们每小时以文件的形式将整个数据集(而不是增量更新)同步到所有服务器。然后将这些数据加载到不可变的Koloboke映射中。每个服务器每秒处理大约25000个请求,每个请求对这个映射进行30次查找。在

  • 一个简单的问题:我看到chronicle Map3x正在将一些功能转移到引擎产品中。然而,引擎本身依赖于MAP2X。我有点困惑,我怎么能把它们一起用呢?我想我错过了什么,但不确定到底是什么。

  • 编年史地图是否有任何概念(或可插拔的能力)来提供自动条目过期?