通过Spring Data ElasticSearch批量索引Spring Data JPA条目到弹性

Question

我们目前的设置是以MySQL为主要数据源，通过Spring data JPA，Hibernate Search对数据进行索引和搜索。我们现在决定使用弹性搜索来进行搜索，以更好地与其他特性保持一致，此外，我们还需要多个服务器共享索引和搜索。

我可以通过elasticsearchrepository轻松地使用Spring Data ElasticSearch设置弹性数据索引和搜索。但现在的挑战是如何将现有的所有MySQL记录索引到弹性搜索中。Hibernate Search提供了一个APIorg.Hibernate.Search.jpa.FulltExtentityManager#CreateIndexer，我们一直在使用它。但我在Spring Data ElasticSearch中找不到一个方便的解决方案。希望有人能在这里帮助我或提供一些指示。

这里有一个类似的问题，但是这里提出的解决方案不太符合我的需要，因为我更希望能够索引整个对象，其中的字段映射到多个DB表。

Answer 1

到目前为止，我还没有找到比编写自己的代码将所有JPA条目索引到应用程序中的ES更好的解决方案，而这一方案对我来说效果很好

Pageable page = new PageRequest(0, 100);
Page<Instance> curPage = instanceManager.listInstancesByPage(page);    //Get data by page from JPA repo.
long count = curPage.getTotalElements();
while (!curPage.isLast()) {
    List<Instance> allInstances = curPage.getContent();
    for (Instance instance : allInstances) {
        instanceElasticSearchRepository.index(instance);    //Index one by one to ES repo.
    }
    page = curPage.nextPageable();
    curPage = instanceManager.listInstancesByPage(page);
}

逻辑是非常简单的，只是取决于数据量可能需要一段时间，所以分解成批并添加一些消息可能是有帮助的。