在Java中，重复读取/写入大量int[]（位集）数据到文件中可以快速完成吗？

Question

我的主程序如下所示（伪代码）：

public void main(String[] args) {

    // produce lots of int[] data which is stored inside a list of hashmaps
    List<HashMap<Integer, int[]>> dataArray1 = new
                                    ArrayList<HashMap<Integer, int[]>>();
    ...

    // create a new list of data, similar to dataArray1
    // now we will write into dataArray2 and read from dataArray1
    List<HashMap<Integer, int[]>> dataArray2 = new
                                    ArrayList<HashMap<Integer, int[]>>();
    while (true) {
        if (exitCondition) break;
        ...
        for index1, index2 in a set of indices {
            int[] a1 = dataArray1.get(index1).get(key1);
            int[] a2 = dataArray1.get(index2).get(key2);
            int[] b = intersect a1 and a2;
            int i = generateIndex(index1, index2);
            int key = generateKey(key1, key2);
            dataArray2.get(i).put(key, b);
        }
    }

    // now we can remove dataArray1
    dataArray1 = null;

    // create a new list of data, similar to dataArray2
    // now we will write into dataArray3 and read from dataArray2
    List<HashMap<Integer, int[]>> dataArray3 = new
                                    ArrayList<HashMap<Integer, int[]>>();
    while (true) {
        if (exitCondition) break;
        ...
        for index1, index2 in a set of indices {
            int[] a1 = dataArray2.get(index1).get(key1);
            int[] a2 = dataArray2.get(index2).get(key2);
            int[] b = intersect a1 and a2;
            int i = generateIndex(index1, index2);
            int key = generateKey(key1, key2);
            dataArray3.get(i).put(key, b);
        }
    }

    // now we can remove dataArray2
    dataArray2 = null;

    ...
    // and so on 20 times

}

我的问题是，在某个点上，对于某些k

解决方案是使用数据库或文件系统。你建议用什么？我需要性能（时间执行），内存不重要。如果您的经验是数据库，那么请推荐处理特定问题的最快界面（哪个？）数据库，不管是bd4（Berkeley db）、postgresql还是其他什么。如果说文件系统，那么请推荐最快的接口（文件库）。

至于读写统计：在代码的每个while循环中，我的读写次数是写的3倍，例如：对于一个级别k，我从dataArray\u k读取12000次，然后写入dataArray\u（k 1）4000次。

我可以存储列表中的每个hashmap




Answer 1

老实说，用Java阅读那么多数据可能会是一场噩梦。我只工作了5 GB的文本文件，这是非常缓慢和困难。您可以使用更接近操作系统的东西（sed、grep、fint等）。如果Java是A必须，那么我想NIO包会比简单的文件更快

看这儿

Answer 2

昨天我评估了不同JavaIO/nio技术的读取性能。事实证明，在pc上，java提供的内存映射。nio和IntBuffer的读取性能最好。代码细节：从二进制文件中读取大量int的最快方法

当然，事实也证明，算法变化在提高速度方面有更大的潜力。例如，在你的情况下，考虑多维搜索结构，如四叉树或R*树，以减少磁盘访问与sonehow密切相关的生物数据。

更新：正如我现在看到的代码，您似乎总是迭代所有值（这不是很清楚）。首先尝试使用一个短数组，它需要一半的空间。