Spring云数据流http源kafka应用程序请求主体内存大小问题

Question

我在Spring云数据流流中遇到 HTTP 源应用程序的问题。

org.springframework.core.io.buffer.DataBufferLimitException: Exceeded limit on max bytes to buffer : 262144
    at org.springframework.core.io.buffer.LimitedDataBufferList.raiseLimitException(LimitedDataBufferList.java:98) ~[spring-core-5.3.10.jar:5.3.10]
    Suppressed: reactor.core.publisher.FluxOnAssembly$OnAssemblyException:
Error has been observed at the following site(s):
    |_ checkpoint ? org.springframework.security.web.server.authorization.AuthorizationWebFilter [DefaultWebFilterChain]
    |_ checkpoint ? org.springframework.security.web.server.authorization.ExceptionTranslationWebFilter [DefaultWebFilterChain]
    |_ checkpoint ? org.springframework.security.web.server.authentication.logout.LogoutWebFilter [DefaultWebFilterChain]
    |_ checkpoint ? org.springframework.security.web.server.savedrequest.ServerRequestCacheWebFilter [DefaultWebFilterChain]
    |_ checkpoint ? org.springframework.security.web.server.context.SecurityContextServerWebExchangeWebFilter [DefaultWebFilterChain]
    |_ checkpoint ? org.springframework.security.web.server.context.ReactorContextWebFilter [DefaultWebFilterChain]
    |_ checkpoint ? org.springframework.security.web.server.header.HttpHeaderWriterWebFilter [DefaultWebFilterChain]
    |_ checkpoint ? org.springframework.security.config.web.server.ServerHttpSecurity$ServerWebExchangeReactorContextWebFilter [DefaultWebFilterChain]
    |_ checkpoint ? org.springframework.security.web.server.WebFilterChainProxy [DefaultWebFilterChain]
    |_ checkpoint ? org.springframework.cloud.sleuth.instrument.web.TraceWebFilter [DefaultWebFilterChain]
    |_ checkpoint ? org.springframework.boot.actuate.metrics.web.reactive.server.MetricsWebFilter [DefaultWebFilterChain]
    |_ checkpoint ? HTTP POST "/" [ExceptionHandlingWebHandler]

当我尝试将具有巨大体量的 HTTP 请求发布到 HTTP endpoint时，就会发生这种情况。

我尝试在部署中设置以下属性，但没有帮助:

app.http.spring.codec.max-in-memory-size: 10MB

春云启动器HTTP Kafka源码app使用的版本是3.1.1

有人知道如何解决这个问题吗？

这可以以如下所示的独立方式进行最低限度的复制

1. 从https://mvnrepository.com/artifact/org.springframework.cloud.stream.app/http-source-kafka/3.1.1下载jar
2. 在端口9092上本地运行Kafka实例并创建一个名为“输出”的主题。
3. 使用java-jarhttp-source-kafka-3.1.1.jar运行jar
4. 向localhost:8080发出HTTP发布请求，请求体大小大于700KB

Answer 1

谢谢你提出这个！

事实证明，该HTTP源应用程序的HttpSupplierConfiguration没有考虑Spring Boot自动配置的ServerCodecConfigurer，包括上述Spring.dec。最大内存大小属性。

我有一个这样的修复程序：https://github.com/spring-cloud/stream-applications/pull/204，很快就会合并。

不幸的是，对于开箱即用的应用程序，没有简单的解决方法。可以考虑使用自定义 HTTP 入站终结点实现自己的源应用程序。