编年史地图在超过200M条目时显著减慢

Question

我正在使用编年史地图来临时存储/查找大量的KV对（实际上是数十亿）。我不需要持久性或复制，我使用的是内存映射文件，而不是纯堆外内存。平均密钥长度为8字节。

对于较小的数据集--多达2亿个条目--我得到的吞吐量约为每秒100万个条目，即创建条目需要大约200秒，这是惊人的，但到了4亿个条目时，地图已经显著放缓，创建它们需要1500秒。

我已经在Mac OSX/16GB四核/500GB SSD和Proliant G6服务器上运行了测试，这些服务器运行Linux和8核/64GB RAM/300GB Raid 1（不是SSD）。同样的行为在两个平台上都表现出来。

    try {
        f = File.createTempFile(name, ".map");
        catalog = ChronicleMapBuilder
                .of(String.class, Long.class)
                .entries(size)
                .averageKeySize(8)
                .createPersistedTo(f);
    } catch (IOException ioe) {
        // blah
    }

    long now = -System.currentTimeMillis();
    long count = 400_000_000L;

    for (long i = 0; i < count; i++) {
        catalog.put(Long.toString(i), i);
        if ((i % 1_000_000) == 0) {
            System.out.println(i + ": " + (now + System.currentTimeMillis()));
        }
    }
    System.out.println(count + ": " + (now + System.currentTimeMillis()));
    catalog.close();

所以我的问题是--是否有某种调整可以改善这一点，例如改变段的数量，使用不同的键类型（例如CharSequence），或者这只是操作系统分页如此大的文件的人工制品？

Answer 1

有几件事可能会有所帮助：

>

确保使用最新的历史地图版本（目前是3.3.0-beta，下一个3.4.0-beta几天后发布）

实际上，使用无垃圾技术，即使对于这样的测试，这也很重要，因为垃圾收集可能会起作用：

public class VinceTest {
    public static void main(String[] args) throws IOException {
        long count = 400_000_000L;
        File f = File.createTempFile("vince", ".map");
        f.deleteOnExit();
        try (ChronicleMap<CharSequence, LongValue> catalog = ChronicleMap
                .of(CharSequence.class, LongValue.class)
                .entries(count)
                .averageKeySize(8.72)
                .putReturnsNull(true)
                .createPersistedTo(f)) {

            long prev = System.currentTimeMillis();

            StringBuilder key = new StringBuilder();
            LongValue value = Values.newHeapInstance(LongValue.class);

            for (long i = 1; i <= count; i++) {
                key.setLength(0);
                key.append(i);
                value.setValue(i);
                catalog.put(key, value);
                if ((i % 1_000_000) == 0) {
                    long now = System.currentTimeMillis();
                    System.out.printf("Average ns to insert per mi #%d: %d\n",
                            (i / 1_000_000), now - prev);
                    prev = now;
                }
            }
            System.out.println("file size " + MEGABYTES.convert(f.length(), BYTES) + " MB");
        }
    }
}