使用ServletOutputStream在Java Servlet中写入非常大的文件而不会出现内存问题

Question

我正在使用IBM Websphere Application Server v6和Java
1.4，并试图将CSV大文件写入ServletOutputStream以便用户下载。目前文件大小为50-750MB。

较小的文件并不会引起太大的问题，但是对于较大的文件，似乎是将其写入堆中，这随后导致OutOfMemory错误并导致整个服务器停机。

这些文件只能通过HTTPS提供给经过身份验证的用户，这就是为什么我通过Servlet而不是仅仅将它们粘贴在Apache中为它们提供服务的原因。

我正在使用的代码是（消除了一些绒毛）：

    resp.setHeader("Content-length", "" + fileLength);
    resp.setContentType("application/vnd.ms-excel");
    resp.setHeader("Content-Disposition","attachment; filename=\"export.csv\"");

    FileInputStream inputStream = null;

    try
    {
        inputStream = new FileInputStream(path);
        byte[] buffer = new byte[1024];
        int bytesRead = 0;

        do
        {
            bytesRead = inputStream.read(buffer, offset, buffer.length);
            resp.getOutputStream().write(buffer, 0, bytesRead);
        }
        while (bytesRead == buffer.length);

        resp.getOutputStream().flush();
    }
    finally
    {
        if(inputStream != null)
            inputStream.close();
    }

在FileInputStream似乎没有，如果我写到另一个文件或只是删除完全写入内存使用情况似乎并不成为一个问题而导致问题。

我在想的是将resp.getOutputStream().write其存储在内存中，直到可以将数据发送到客户端为止。因此，可能会读取整个文件并将其存储在resp.getOutputStream()导致我的内存问题并崩溃的地方！

我已经尝试过缓冲这些流，还尝试过使用from的Channels
java.nio，这些似乎都没有对我的内存问题产生任何影响。我还刷新了OutputStream循环的每个迭代一次，并在循环之后刷新了一次，但这没有帮助。

Answer 1

默认情况下，平均体面的servlet容器本身每2KB刷新一次流。你真的应该没有需要再调用flush()上OutputStream的HttpServletResponse间隔顺序时，从一个相同的源流数据。例如，在Tomcat（和Websphere！）中，可以将其配置为bufferSizeHTTP连接器的属性。

如果内容长度是事先未知的（按照Servlet
API规范
！），并且客户端支持HTTP
1.1，那么普通的体面servlet容器也只会分块传输数据。

问题症状至少表明servlet容器在刷新之前正在缓冲整个流在html" target="_blank">内存中。这可能意味着未设置内容长度标头和/或servlet容器不支持分块编码和/或客户端不支持分块编码（即，它正在使用HTTP
1.0）。

要解决一个或另一个问题，只需预先设置内容长度：

response.setHeader("Content-Length", String.valueOf(new File(path).length()));