获取Kafka connect集群的信息

Question

我目前使用的是Kafka connect集群，它有两个节点，使用的是同一个group.id

当使用curl/connectors时，我可以获得创建的连接器列表，但我看不到有关活动节点的信息，健康检查。。。

Answer 1

我知道这可能有点晚，但是改进KC集群监控的一个方法是使用这个Kafka REST扩展:https://github.com/LoObp4ck/kafka-connect-healthchecks

然后让您的监控定期作业检查此endpoint，以确保所有连接器任务正常运行。我们在生产中使用它，它完成了这项工作

maven central中也有这个jar，如下所示:

<dependency>
  <groupId>net.loobpack.kafka-connect-healthchecks</groupId>
  <artifactId>kafka-connect-healthcheck-extension</artifactId>
  <version>1.0.0</version>
</dependency>

Answer 2

Kafka Connect 不会从 REST API 公开此类信息。

您所能做的最好的方法是点击/connectors/{name}/status，然后构建一组所有正在运行的工作程序，但这仍然不能100%保证为您提供所有节点。