如何遍历大目录的目录树并忽略文件

Question

我需要在网络驱动器上遍历一个目录，并在层次结构中创建子级到父级的映射。一个代表目录是6个Terrabytes，有90万个文件和900个文件夹。我只关心文件夹而不是文件。出于测试目的，我将没有文件的文件夹复制到另一个网络驱动器，并在复制的版本上运行代码。仅仅是在900个文件夹上迭代可能需要10秒。但是，迭代原始目录结构需要30分钟。我们似乎正在遍历所有90万个文件，尽管我们只是忽略它们。

有没有一种方法可以通过不看文件来加快速度呢？如果可以的话，我更愿意坚持使用纯Java。通过Windows资源管理器浏览这个庞大的目录时，一点也不觉得慢。我的代码在下面。

public static Map<String, String> findFolderPaths(File parentFolder) throws IOException {
        Map<String, String> parentFolderMap = new HashMap<String, String>();
        Files.walkFileTree(parentFolder.toPath(), new FolderMappingFileVisitor(parentFolderMap));

        return parentFolderMap;
    }


static class FolderMappingFileVisitor extends SimpleFileVisitor<Path> {
        private Map<String, String> mapping;
        FolderMappingFileVisitor(Map<String, String> map) {
            this.mapping = map;
        }
        @Override
        public FileVisitResult preVisitDirectory(Path dir,
                BasicFileAttributes attrs) throws IOException {
            File directory = dir.toFile();
            mapping.put(directory.getName(), directory.getParent());

            return FileVisitResult.CONTINUE;
        }
    }

编辑：

我没有提到的一个重要的谜题是我们正在WebStart中运行这个应用程序。我报道的时代来自生产，而不是发展。从Eclipse运行，时间更符合我对FileWalker的期望。

Answer 1

您使用的方法是获取BasicFileAttributes，我怀疑它是访问每个文件的文件描述信息。

如果您所需要的只是名称，那么我建议您重复/递归地调用file.listfiles（）；而这只应获得您所要求的信息。

类似于

public static Map<String, String> findFolderPaths(File parentFolder) throws IOException {
    Map<String, String> map = new HashMap<String, String>();
    findFolderPaths(parentFolder, map);
    return map;
}

public static void findFolderPaths(File dir, Map<String, String> map) throws IOException {
    map.put(dir.getName(), dir.getPparent());
    for(File file : dir.listFiles())
        if (file.isDirectory())
            findFolderPaths(file, map);
}