Elasticsearch Java高级REST客户端建立一组TCP连接，并在索引数据后不关闭它们

Question

我有一个每秒运行一次的定期作业（这是可配置的）。

在本作业中，我首先创建到Elasticsearch服务器的连接：

RestHighLevelClient client = new RestHighLevelClient(
                    RestClient.builder(new HttpHost(address, port, "http")));

然后我检查是否存在一个名为test的特殊索引。如果它不存在，我首先创建它。

GetIndexRequest indexRequest = new GetIndexRequest();
indexRequest.indices("test");
boolean testIndexIsExists = false;
try {           
     testIndexIsExists = client.indices().exists(indexRequest, RequestOptions.DEFAULT); 
    } catch (IOException ioe) {
    logger.error("Can't check the existence of test index in Elasticsearch!");  
}
if(testIndexIsExists) {
     // bulk request...
} else {
    CreateIndexRequest testIndex = new CreateIndexRequest("test");
    try {   
        testIndex.mapping("doc", mappingConfiguration);
        client.indices().create(testIndex, RequestOptions.DEFAULT);
        // bulk request...  
    } catch (IOException ioe) { 
        logger.error("Can't create test index in Elasticsearch");
    }   
}

在执行包含近2000个文档的批量请求后，我关闭Elasticsearch客户端连接：

client.close();

Java高级REST客户端版本：

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>
    <version>6.4.0</version>
</dependency>

我的问题是一堆TCP连接已经建立，并且没有关闭。随着时间的推移，这些TCP连接会占用所有操作系统TCP连接。

另一方面，我有点困惑。RestHighLevelClient实例应该是整个应用程序的单例对象，还是我必须在每个作业运行周期中创建一个新实例，并在完成该作业后关闭该实例？

Answer 1

除非有充分的理由，否则RestHighLevelClient通常应该是单例的。例如，如果您的作业每小时而不是每分钟运行一次，那么创建新实例并在作业完成后关闭它可能是有意义的。

如果您确定在所有情况下都调用了关闭（）（例如，您没有错过任何异常），那么我的下一个猜测是弹性客户端中的错误。

看起来他们忘记了使用exists调用中的响应：https://html" target="_blank">github.com/elastic/elasticsearch/blob/v6.4.0/client/rest-high-level/src/main/java/org/elasticsearch/client/RestHighLevelClient.java#L1419

您是否能够在没有调用exists的情况下进行测试？

Answer 2

高级客户端已经为您维护了一个连接池，所以我将它作为一个单例使用。不断创建和关闭连接池代价高昂，而且客户端和底层HTTP连接池是线程安全的。此外，在客户端上调用HTTP客户端的close（）只会委托给apachehttp客户端的shutdown（）方法，因此您将任由它们如何处理清理和释放资源。

如果您使用Spring或其他一些DI框架，很容易创建客户端的单例实例，可以根据需要注入。您可以将调用添加到client.close（）作为bean关闭/销毁生命周期阶段的一部分。

使用Spring Boot的快速示例：

@Configuration
@ConditionalOnClass(RestHighLevelClient.class)
public class ElasticSearchConfiguration {

    @Value("${elasticsearch.address}")
    String address;

    @Value("${elasticsearch.port}")
    int port;

    @Bean(destroyMethod = "close")
    public RestHighLevelClient restHighLevelClient() {
        return new RestHighLevelClient(
                RestClient.builder(new HttpHost(address, port, "http")));
    }
}

注意：在这种情况下，Spring将自动检测到bean有一个关闭方法，并在bean被销毁时为您调用它。其他框架可能要求您指定应该如何处理关闭。