在apache Camel中压缩和解压缩一个大文件，而不将整个文件加载到内存中

Question

我们使用Apache Camel来压缩和解压缩我们的文件。我们使用标准的.marshal().gzip()和.unmarshall().gzip()API。

我们的问题是，当我们得到非常大的文件（例如800MB到1GB以上的文件大小）时，我们的应用程序将耗尽内存，因为整个文件被加载到内存中进行压缩和解压缩。

是否有任何骆驼API或java库可以帮助压缩/解压缩文件，而不需要将整个文件加载到内存中。

这里还有一个类似的未解问题

Answer 1

使用另一种方法：将文件流化。

也就是说，不要将它完全加载到内存中，而是每字节读取一个字节，同时每字节回写一个字节。

获取一个InputStream到文件中，将一些GZipInputStream包装起来。每字节读取字节，写入outputstream。

Path inputPath = Paths.get("archive.tar.gz");
Path outputPath = Paths.get("archive.tar");

try (InputStream fin = Files.newInputStream(inputPath );
        OutputStream out = Files.newOutputStream(outputPath);) {
    GZipCompressorInputStream in = new GZipCompressorInputStream(
        new BufferedInputStream(fin));

    // Read and write byte by byte
    final byte[] buffer = new byte[buffersize];
    int n = 0;
    while (-1 != (n = in.read(buffer))) {
        out.write(buffer, 0, n);
    }
}

Path inputPath = Paths.get("archive.tar");
Path outputPath = Paths.get("archive.tar.gz");

try (InputStream in = Files.newInputStream(inputPath);
        OutputStream fout = Files.newOutputStream(outputPath);) {
    GZipCompressorOutputStream out = new GZipCompressorOutputStream(
        new BufferedOutputStream(fout));

    // Read and write byte by byte
    final byte[] buffer = new byte[buffersize];
    int n = 0;
    while (-1 != (n = in.read(buffer))) {
        out.write(buffer, 0, n);
    }
}

如果您觉得使用BufferedReader和PrintWriter更舒服的话，还可以将它们包装起来。它们自己管理缓冲，您可以读写行而不是字节。请注意，只有当您读取的文件为行而不是其他格式时，这才是正确的。