试图处理s3文件时的OOM

Question

我试着用下面的代码从文件中下载和读取数据，不管怎么说，在读取文件时，s3文件的大小是22MB，我通过浏览器下载的是650MB，但是当我通过visual VM监控时，解压缩和读取时消耗的内存超过2GB。任何人请指导，让我找到高内存使用率的原因。谢了。

public static String unzip(InputStream in) throws IOException, CompressorException, ArchiveException {
            System.out.println("Unzipping.............");
            GZIPInputStream gzis = null;
            try {
                gzis = new GZIPInputStream(in);
                InputStreamReader reader = new InputStreamReader(gzis);
                BufferedReader br = new BufferedReader(reader);
                double mb = 0;
                String readed;
                int i=0;
                while ((readed = br.readLine()) != null) {
                     mb = mb+readed.getBytes().length / (1024*1024);
                     i++;
                     if(i%100==0) {System.out.println(mb);}
                }


            } catch (IOException e) {
                e.printStackTrace();
                LOG.error("Invoked AWSUtils getS3Content : json ", e);
            } finally {
                closeStreams(gzis, in);
            }

线程“main”Java.lang.outofMemoryError：unzip(awsutils.Java:917)

Answer 1

这是一个理论，但我想不出你的例子会失败的任何其他原因。

假设未压缩文件包含一个很长的行；例如，大约6.5亿个ASCII字节。

您的应用程序似乎每次只读取文件一行，并（尝试）显示已读取的兆字节的运行总数。

所以650MB可以很容易地变成>6×650M字节的堆需求

另一件需要注意的事情是，2×N数组必须是单个连续的堆节点。

查看堆图，看起来堆在使用中达到了1GB。如果我的理论是正确的，下一个分配将是一个~2GB的节点。但是对于3.1GB的堆最大值来说，1GB+2GB是正确的。当我们考虑到连续性要求时，分配就无法进行了。

    public static String unzip(InputStream in) 
            throws IOException, CompressorException, ArchiveException {
        System.out.println("Unzipping.............");
        try (
            GZIPInputStream gzis = new GZIPInputStream(in);
            InputStreamReader reader = new InputStreamReader(gzis);
            BufferedReader br = new BufferedReader(reader);
        ) {
            int ch;
            long i = 0;
            while ((ch = br.read()) >= 0) {
                 i++;
                 if (i % (100 * 1024 * 1024) == 0) {
                     System.out.println(i / (1024 * 1024));
                 }
            }
        } catch (IOException e) {
            e.printStackTrace();
            LOG.error("Invoked AWSUtils getS3Content : json ", e);
        }