带有多个Elasticsearch群集的Spring Boot启动速度非常慢

Question

我有Spring启动应用程序与三个弹性搜索群集（ES v6.4.2）配置。application.properties文件如下（我为每个集群配置了三个主节点，但为了简单起见，这里显示了一个）：

# Cluster 1
spring.data.elasticsearch.cluster-one.cluster-name=<cluster-1-name>
spring.data.elasticsearch.cluster-one.cluster-nodes=<ip-cluster-1-master-node>:9300

# Cluster 2 
spring.data.elasticsearch.cluster-two.cluster-name=<cluster-2-name>
spring.data.elasticsearch.cluster-two.cluster-nodes=<ip-cluster-2-master-node>:9300

# Cluster 3 
spring.data.elasticsearch.cluster-three.cluster-name=<cluster-3-name>
spring.data.elasticsearch.cluster-three.cluster-nodes=<ip-cluster-3-master-node>:9300

spring.data.elasticsearch.repositories.enabled=true

spring.autoconfigure.exclude = org.springframework.boot.autoconfigure.data.elasticsearch.ElasticsearchAutoConfiguration,org.springframework.boot.autoconfigure.data.elasticsearch.ElasticsearchDataAutoConfiguration

对于每个集群，我都有一个单独的配置类，在其中设置TransportClient和ElasticsearchTemplate。

现在，当我在本地计算机上运行所有三个集群的情况下本地启动应用程序时，应用程序会正常启动。但是，当我使用三个独立的远程集群将应用程序部署到测试环境时，启动过程需要20分钟。它还需要为第三个集群加载Elasticsearch插件。下面是日志输出的摘录：

2019-09-10 00:55:57.607  INFO 27505 --- [           main] o.s.web.context.ContextLoader            : Root WebApplicationContext: initialization completed in 2897 ms
2019-09-10 00:55:57.971  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : no modules loaded
2019-09-10 00:55:57.972  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.index.reindex.ReindexPlugin]
2019-09-10 00:55:57.972  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.join.ParentJoinPlugin]
2019-09-10 00:55:57.972  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.percolator.PercolatorPlugin]
2019-09-10 00:55:57.972  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.script.mustache.MustachePlugin]
2019-09-10 00:55:57.973  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.transport.Netty4Plugin]
2019-09-10 00:55:59.785  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : no modules loaded
2019-09-10 00:55:59.785  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.index.reindex.ReindexPlugin]
2019-09-10 00:55:59.785  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.join.ParentJoinPlugin]
2019-09-10 00:55:59.785  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.percolator.PercolatorPlugin]
2019-09-10 00:55:59.785  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.script.mustache.MustachePlugin]
2019-09-10 00:55:59.786  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.transport.Netty4Plugin]
2019-09-10 01:18:30.484  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : no modules loaded
2019-09-10 01:18:30.485  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.index.reindex.ReindexPlugin]
2019-09-10 01:18:30.485  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.join.ParentJoinPlugin]
2019-09-10 01:18:30.485  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.percolator.PercolatorPlugin]
2019-09-10 01:18:30.485  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.script.mustache.MustachePlugin]
2019-09-10 01:18:30.485  INFO 27505 --- [           main] o.elasticsearch.plugins.PluginsService   : loaded plugin [org.elasticsearch.transport.Netty4Plugin]

在这里，您可以看到第二个和第三个块加载插件之间的延迟超过20分钟。

当从测试环境中卷曲群集时，它们都是可访问的，并且没有延迟地响应。

延迟的原因可能是什么，或者我必须去哪里寻找？

是否有可能或建议只为所有三个集群加载一次Elasticsearch插件？如果有，我如何实现这一点？

编辑：

调试日志向我显示，主节点无法连接到数据节点：

org.elasticsearch.transport.ConnectTransportException: [data_node_6][<ip-of-data-node>:9300] connect_exception
[...]

2019-09-10 18:49:00.517 DEBUG 26219 --- [main] o.e.c.t.TransportClientNodesService      : failed to connect to discovered node [{data_node_6}{LKdxInfLSyqrGgSOXvTwFw}{YIhin3kpSNupEY1jBlHFVg}{<ip-of-data-node>}{<ip-of-data-node>:9300}{ml.machine_memory=33422729216, ml.max_open_jobs=20, xpack.installed=true, ml.enabled=true}]

但是我的集群是在线的，并且在所有数据节点都存在的情况下处于绿色状态。所有节点都配置为网状VPN，端口9200和9300为节点之间的通信打开。

ES是否需要打开另一个端口进行通信？

Answer 1

出现这个问题是因为我启用了集群嗅探（https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/transport-client.html），它拾取集群中的所有数据节点，并通过主节点直接与它们通信。

由于我的群集配置为VPN，并且只有主节点可以从后端（位于VPN之外）访问，因此当从主节点获取内部VPN IP（非公共IP）时，后端无法与数据节点通信，因此连接失败。

所以我禁用了集群嗅探，现在一切都像预期的那样工作。