上传大文件导致堆空间Java

Question

可能没有多少开发人员像我一样面临这个问题<但是我想分享我已经解决了将近一个月的解决方案
我使用Kubernetes和docker compose，此Webflux服务（容器）设置了内存限制1gmem\u limit:1g我不允许增加内存限制


已将coRouter用作容器中的控制器。

@Configuration
class WebController(
) {

    @Bean
    fun endpoints() = coRouter {
        contentType(MediaType.MULTIPART_FORM_DATA).nest {
            POST("/uploadFile") { requestParm ->
                requestParm.awaitMultipartData().multipartFormData["file"]?.first()
            }
        }
    }
}

如果我使用APIhttp://localhost:9004/uploadFile100MB上传文件，10个文件（使用JS Ajax）
它会产生java.lang.OutOfMemoryError：Java堆空间，因为它没有足够的内存。
每当您调用Request estParm.awaitMultipartData（）时，它会将这些字节流式传输到内存中。




Answer 1

我意识到，我当前的代码将把上传的文件直接存储在内存中。有两种方法可以解决此问题。

• 第一种方式，在路由器或控制器上添加EnableWebFlux

@Configuration
@EnableWebFlux
class WebController(
) { }

• 第二种方式，从DelegatingWebFluxConfiguration扩展到路由器或控制器参考：https://docs.spring.io/spring-framework/docs/current/reference/html/web-reactive.html#webflux-配置高级java

@Configuration
class WebController(
): DelegatingWebFluxConfiguration() { }

为什么解决了上传大文件的问题？

以上这两种方式将自动用于Super类的方法configureHttpMessageCodecs（configurer:ServerCodeConfigurerhttps://docs.spring.io/spring-framework/docs/current/reference/html/web-reactive.html#webflux-编解码器多部分

默认情况下，使用DefaultPartHttpMessageReader，但这可以通过ServerCodeConfigurer进行更改。有关DefaultPartHttpMessageReader的更多信息，请参阅DefaultPartHttpMessageReader的javadoc。

如您所见，ServerCodeConfigurer默认情况下将使用DefaultPartHttpMessageReader。

DefaultPartHttpMessageReader有这个重要的属性MaxInMemorySize（如果内存已满，存储在磁盘中）

https://docs.spring.io/spring-framework/docs/5.3.1/javadoc-api/org/springframework/http/codec/multipart/DefaultPartHttpMessageReader.html#setMaxInMemorySize-int-

配置每个部分允许的最大内存量。当超过限制时：文件部分被写入临时文件。非文件部分被拒绝使用DataBufferLimitException。默认情况下，这设置为256K。

上传文件的默认内存是256K
如果内存已满，它会将这些文件暂时保存到磁盘。

您还可以自定义内存来存储大小文件Spring WebFlux：设置上载文件的最大文件大小