带Pageable的Spring data elasticsearch存储库只重新调整了10000个文档

Question

我在elasticsearch中有17364个文档的索引。

$curl http://localhost:9200/performance/_count
{"count":17364,"_shards":{"total":1,"successful":1,"skipped":0,"failed":0}}

Spring数据存储库，

public interface TestRepository extends ElasticsearchRepository<Transaction, String> {
}

逐页获取所有文档并打印：

public void testReport() {

  int page = 0, pageSize = 1000;
  Pageable of = PageRequest.of(page, pageSize);

  Page<Transaction> all = testRepository.findAll(of);
  int numberOfPages = all.getTotalPages();

  log.info("All pages: {},  {}", numberOfPages, all.getTotalElements());
  do {
     log.info("Current page: {}, {}", of.getPageNumber(), of.getPageSize());
     for (Transaction txn : all) {
        log.info(mapper.writeValueAsString(txn));
     }
  } while ((of = of.next()) != null && (transactionRepository.findAll(of)) != null);

}

这段代码只返回10000个文档，尽管索引中有17364个文档。你能帮我找出为什么会这样吗。

• ElasticSearch版本：7.9

Answer 1

我看到两种选择：

答：由于您只有17364个文档，因此可以增加索引。max_result_window将索引设置为（例如）20000，以便可以分页到最后：

PUT performance/_settings
{
  "index.max_result_window": 20000
}

B.如果你有更大的索引和/或增加索引。max_result_window出于任何原因，限制都不是一个选项，那么您需要利用Scroll API。Spring Data ES支持两种方法。

第一种方法涉及利用ElasticsearchTemplate。searchForStream（）方法，该方法在内部使用Scroll API

SearchHitsIterator<Transaction> stream = elasticsearchTemplate.searchForStream(searchQuery, Transaction.class, "performance");

第二种方法更低级。您需要使用返回流的方法修改存储库定义：

public interface TestRepository extends ElasticsearchRepository<Transaction, String> {
    Stream<Transaction> findScrollAll();
}

然后使用Elasticsearch chTemplate实现该方法。search chScrollStart（）和Elasticsearch chTemplate. search chScroll继续（）

补充：

第三种选择：

定义一个方法

Stream<Searchhit<Transaction>> searchBy()

在您的Testrepository中。或者只使用返回类型流