如何在Java中列出200万个文件目录而又没有“内存不足”异常

Question

我必须处理要处理的大约200万个xml目录。

我已经解决了使用队列在机器和线程之间分配工作的处理过程，一切正常。

但是现在最大的问题是读取目录中的200万个文件以逐步填充队列的瓶颈。

我尝试使用该File.listFiles()方法，但是它给了我一个Java out of memory: heap space异常。有任何想法吗？

Answer 1

首先，您是否有可能使用Java 7？那里有一个FileVisitor和和Files.walkFileTree，它们应该在内存限制内起作用。

否则，我唯一想到的方法是使用 File.listFiles(FileFilter filter)始终返回的过滤器 false（确保文件的完整数组永远不会保存在内存中），但是它会捕获沿途要处理的文件，也许将它们放入生产者/消费者队列或将文件名写入磁盘以供以后遍历。

另外，如果您控制文件的名称，或者以某种不错的方式命名它们，则可以使用接受表单上文件名的过滤器file0000000（filefile0001000然后是file0001000-）对文件进行分块处理filefile0002000。

如果名称的命名方式 不是 这样，您可以尝试根据文件名的哈希码对它们进行过滤，该哈希码应该均匀地分布在整数集上。

更新： 叹气。可能行不通。只是看一下listFiles实现：

public File[] listFiles(FilenameFilter filter) {
    String ss[] = list();
    if (ss == null) return null;
    ArrayList v = new ArrayList();
    for (int i = 0 ; i < ss.length ; i++) {
        if ((filter == null) || filter.accept(this, ss[i])) {
            v.add(new File(ss[i], this));
        }
    }
    return (File[])(v.toArray(new File[v.size()]));
}

因此它可能在第一行中都会失败…令人失望。我相信您最好的选择是将文件放在不同的目录中。

顺便说一句，您能举个文件名的例子吗？他们是“可猜测的”吗？喜欢

for (int i = 0; i < 100000; i++)
    tryToOpen(String.format("file%05d", i))