防止泽西岛客户端在发布大文件时导致内存不足错误

Question

使用 Jersey 客户端将大文件作为 InputStream 时，文件的全部内容似乎在发送到服务器之前已缓冲到内存中。这会导致大文件出现问题，因为 JVM 的堆空间不足。如何防止泽西岛客户端出现此行为？服务器端的 JAX-RS 资源方法在发送数据时似乎没有此问题。

例如:

WebResource dataUploadResource = buildDataUploadResource();
dataUploadResource.type(getMimeType()).put(getLargeInputStream());

Answer 1

为了防止这种行为，您需要将泽西客户端配置为对请求使用分块编码1。这消除了设置Content-Llong标头的需要，并且将从提供的InputStream中流式传输，而不会缓冲内存中的全部内容。

默认情况下，Jersey使用JDK的HttpURLConection类来处理HTTP请求和响应。不幸的是，这有一些与分块编码传输相关的错误。幸运的是，Jersey有扩展点，允许使用不同的HTTP客户端实现。其中一个实现基于Apache Http Client2。

apache htpp客户端处理程序有两种实现，一种支持现在结束生命的3. x版本，另一种使用较新的4. x版本。对于我们的项目，我们使用基于旧版本（3.1）的实现。该库在Maven Central的“cont在”子组下可用。

<dependency>
    <groupId>com.sun.jersey.contribs</groupId>
    <artifactId>jersey-apache-client</artifactId>
    <version>1.14</version>
</dependency>

接下来，您必须初始化您的泽西客户端以使用新实现：

Client jerseyClient = ApacheHttpClient.create(getClientConfig());

为了启用分块编码，您必须在客户端配置上设置分块编码大小，因为默认情况下未启用：

private ClientConfig getClientConfig() {
   ClientConfig config = new DefaultClientConfig();

   config.getProperties().put(
            DefaultApacheHttpClientConfig.PROPERTY_CHUNKED_ENCODING_SIZE, 0);
   return config;
}

只要此属性不是null，就会使用分块编码。事实上，1.14版忽略了编码大小，因为底层apache Commons-httpClient库不支持指定大小。