通过@Bean提供的RestTemplateBuilder缓冲完整文件进行流式上传

Question

我正在构建一个反向代理，用于上传大文件（数GB），因此希望使用不缓冲整个文件的流模型。大的缓冲区会带来延迟，更重要的是，它们可能导致内存不足错误。

我的客户机类包含

@Autowired private RestTemplate restTemplate;

@Bean
public RestTemplate restTemplate(RestTemplateBuilder restTemplateBuilder) {

    int REST_TEMPLATE_MODE = 1; // 1=streams, 2=streams, 3=buffers

    return 
        REST_TEMPLATE_MODE == 1 ? new RestTemplate() :
        REST_TEMPLATE_MODE == 2 ? (new RestTemplateBuilder()).build() :
        REST_TEMPLATE_MODE == 3 ? restTemplateBuilder.build() : null;
}

和

public void upload_via_streaming(InputStream inputStream, String originalname) {

    SimpleClientHttpRequestFactory requestFactory = new SimpleClientHttpRequestFactory();
    requestFactory.setBufferRequestBody(false);
    restTemplate.setRequestFactory(requestFactory);

    InputStreamResource inputStreamResource = new InputStreamResource(inputStream) {
        @Override public String getFilename() { return originalname; }
        @Override public long contentLength() { return -1; }
    };

    MultiValueMap<String, Object> body = new LinkedMultiValueMap<String, Object>();
    body.add("myfile", inputStreamResource);

    HttpHeaders headers = new HttpHeaders();
    headers.setContentType(MediaType.MULTIPART_FORM_DATA);

    HttpEntity<MultiValueMap<String, Object>> requestEntity = new HttpEntity<>(body,headers);

    String response = restTemplate.postForObject(UPLOAD_URL, requestEntity, String.class);
    System.out.println("response: "+response);
}

这是可行的，但请注意我的REST\u TEMPLATE\u MODE值控制它是否满足我的流媒体要求。

问题：为什么REST\u TEMPLATE\u MODE==3会导致完全文件缓冲？

参考资料：

• 如何使用RestTemplate转发大文件
• 如何使用restTemplate Spring mvc发送多部分表单数据
• Spring—如何将大型多部分文件上传到数据库而不存储在本地文件系统上—建立InputStream
• 如何使用批注自动关联RestTemplate
• 设计说明和使用注意事项，另外：restemplate不支持流式下载

Answer 1

简而言之，Spring Boot提供的RestTemplateBuilder作为@Bean提供的实例包括与执行器/度量相关联的拦截器（过滤器）-拦截器接口需要将请求主体缓冲为简单的字节[]。

如果您从头开始实例化自己的restemplatebuilder或restemplate，则默认情况下不会包含此项。

我似乎是唯一访问此帖子的人，但为了在我发布完整的解决方案之前帮助他人，我发现了一个重要线索：

restTemplate.getInterceptors().forEach(item->System.out.println(item));

显示。。。

org.SF.boot.actuate.metrics.web.client.MetricsClientHttpRequestInterceptor

如果我通过setInterceptors清除拦截器列表，问题就解决了。此外，我发现任何拦截器，即使它只执行NOP，也会引入完整的文件缓冲。

我已经显式地设置了缓冲区请求体=false，但是如果使用拦截器，显然会绕过这段代码。要是早点知道就好了...

@Override
public ClientHttpRequest createRequest(URI uri, HttpMethod httpMethod) throws IOException {
    HttpURLConnection connection = openConnection(uri.toURL(), this.proxy);
    prepareConnection(connection, httpMethod.name());

    if (this.bufferRequestBody) {
        return new SimpleBufferingClientHttpRequest(connection, this.outputStreaming);
    }
    else {
        return new SimpleStreamingClientHttpRequest(connection, this.chunkSize, this.outputStreaming);
    }
}

这表明，如果拦截器列表不为空，则使用InterceptingClientHttp刚需工厂。

/**
 * Overridden to expose an {@link InterceptingClientHttpRequestFactory}
 * if necessary.
 * @see #getInterceptors()
 */
@Override
public ClientHttpRequestFactory getRequestFactory() {
    List<ClientHttpRequestInterceptor> interceptors = getInterceptors();
    if (!CollectionUtils.isEmpty(interceptors)) {
        ClientHttpRequestFactory factory = this.interceptingRequestFactory;
        if (factory == null) {
            factory = new InterceptingClientHttpRequestFactory(super.getRequestFactory(), interceptors);
            this.interceptingRequestFactory = factory;
        }
        return factory;
    }
    else {
        return super.getRequestFactory();
    }
}

这些接口清楚地表明，使用InterceptingClientHttpRequest需要将body缓冲到字节[]。没有使用流媒体接口的选项。

    @Override
    public ClientHttpResponse execute(HttpRequest request, byte[] body) throws IOException {