读取大文件时出现 Java 堆空间错误

Question

我试图将整个文件作为字符串对象加载到内存中。但是在应用程序结束后，我的内存不会被释放回垃圾收集器。我知道在内存中读取整个文件是不好的，但是我必须将数据发送到另一个类，有人能帮助我如何做这只是一个流，而不是将整个代码加载到内存中，如果没有，有人能说我现在的代码有什么问题吗

private   String processFile(FileItemStream item) throws IOException{

        InputStream is=null;

        try{
            is=item.openStream();
            return IOUtils.toString(is, "UTF-8");
        }
        finally {

            IOUtils.closeQuietly(is);

        }

    }




data=processFile(item)//method call
SomeClass(data);//passing the data string to this class

Answer 1

如果您确实无法更改您正在调用的API以获取字符串之外的内容，那么您需要通过为JVM提供更多内存来解决这个问题。这可以通过向JVM发送参数来更改。

-Xmx<size>

例如，您可以使用这样的设置给JVM一个最大2GB的堆

-Xmx2g

但是如果您使用的API接受一个字符串作为参数，并且试图传递一个几千兆字节的字符串，那么您几乎肯定是错误地使用了他们的API。如果有人构建一个需要大量数据的API，他们不会用单个字符串作为参数来构建它。祝你好运。

Answer 2

这取决于您可以使用的API。如果他们的API允许您一次处理一个字节数组的数据，那么您应该将数据块读入一个缓冲区，并将其发送给那个应用程序。如果它让你传入一个InputStream，那么你应该这样做。

如果 API 不允许您执行上述操作之一，那么您唯一可以做的就是增加 Java 可以使用的内存量。为此，请使用 -Xmx512m 开关启动 Java，其中 512 是可以分配给 Java 的内存量。

Answer 3

您应该将 is 传递到需要数据的类中。只要你没有一次读懂所有的内容，你就不会用完你所有的内存。将您的代码更改为以下内容：

InputStream is = null;
try {
    is = getFileAsStream(item);
    SomeClass(is)  //of course this probably doesn't compile, I'm just using your code sample
} finally {
    //close is
}