Kafka Connect和Kafka Broker版本兼容性

Question

我们有一个“Kerberized Kafka集群”，运行Apache Kafka 0.11版的代理。这个集群由另一个团队管理，我们对此没有任何控制权。

我们现在正在尝试在我们自己的K8S集群上安装Kafka Connect集群。

我们遵循这个兼容性矩阵https://docs.confluent.io/current/installation/versions-interoperability.html

根据这一点，我们必须坚持使用Confluent Platform 3.3.3 images for Schema Registry和Kafka Connect pods，因为Brokers的版本是0.11

此外，我们还希望启用此处实现的Connect JMX指标：https://cwiki.apache.org/confluence/display/KAFKA/KIP-196:向Kafka Connect框架添加指标

根据留档，Kafka 1.0.0支持这些JMX指标

问题是：

1）我们可以使用最新的融合图像（例如：版本5.2.0）与Kafka Brokers版本0.11？

2）使用当前设置（ConFluent 3.3.3），我已经启用了所有的JMX指标，但是我们没有看到任何基于Kafka连接器的指标。我看到了一般的Kafka连接指标，但没有每个连接器的指标（例如。源和接收器指标）。这是因为我们使用的旧CP版本吗？

Answer 1

Confluent Platform 3.2及更高版本中包含的Kafka Connect Workers与Confluent Platform 3.0及更高版本中包含的任何Kafka broker兼容

注意：Kafka Connect不是一个融合的平台功能，而是在普通的Apache Kafka API上构建的。因此，使用Kafka 1.0和2.0客户端库的Connect实例仍然可以与Kafka 0.11代理一起使用基本通信协议

如果您有Kerberos问题，这些问题可能是无关的

我看到一般的Kafka Connect指标，但不是每个连接器的指标

一般来说，每个连接器都没有这样的指标，比如“读取/写入数据库的记录数”，或者至少，这在很大程度上取决于连接器是否实际实现了自己的指标，但是是的，是3.3。x版本都基于Kafka 0.11，而不是1.0，后者添加了更多的Connect API指标