在Spring WebFlux上限制HTTP响应大小

Question

我正在使用Spring WebFlux编写http爬虫程序，它很容易并行执行和设置http超时：

val sitesToCrawl: Flux<String> = streamOfUrl()
val concurrencyLimit = 100
sitesToCrawl.flatMap(
    { WebClient.create().get().uri(it).exchange().timeout(Duration.ofSeconds(10)) },
    concurrencyLimit
)

但是如何限制页面响应大小，比如我不想为每个URL下载超过500KB的数据。读取HTTP头Content-Length是不可靠的。我想我需要降低一个级别，直接使用字节缓冲区和Netty事件，但最好使用flux/mono来包装它，以继续使用这些原语

Answer 1

如果使用Spring Boot，则应该使用自动配置的webclient.builder创建webclient；这将反映Spring Boot的意见，例如，将根据您选择的配置选项配置Jackson解码。

您还应该构建一个并将其用于许多请求，而不是为每个请求创建一个新的客户机实例--这是不有效的。

现在，从Spring Framework 5.1（Spring Boot 2.1）开始，Spring WebFlux附带了一个filterfunction，它只执行以下操作：读取N个字节，然后取消响应（停止读取并关闭连接）。请注意，如果响应相当大，这种行为很有趣，但这样做也会使连接不适合重用，并且不会返回到连接池。如果您在同一台主机上抓取大量页面，那么连接池与创建新连接是一个有趣的权衡。

@Component
public class CrawlingService {

  private WebClient webClient;

  public CrawlingService(WebClient.Builder builder) {
      this.webClient = builder.filter(ExchangeFilterFunctions.limitResponseSize(maxSize))
                    .build();
  }

  public Mono<Void> crawlPage(URI page) {
      return // use webClient here
  }  

}