运行多个kafka独立hdfs连接器时出错

Question

我们试图在给定的节点上启动多个独立的kafka hdfs连接器。

对于每个连接器，我们分别将rest.port和offset.storage.file.filename设置为不同的端口和路径。

也是Kafka经纪人JMX港是@ 9999。

当我启动 kafka 独立连接器时，出现错误

错误：代理引发异常：java.rmi.server。ExportException:端口已在使用：9999；嵌套异常是：java.net。BindException:地址已在使用中（绑定失败）

尽管rest.port被设置为9100

kafka版本：2.12-0.10.2.1

Kafka-连接-hdfs版本：3.2.1

请帮帮忙。

Answer 1

您可能打开了不知道的 Kafka Connect 连接。您可以通过以下方式进行检查：

ps -ef | grep connect

如果您找到任何进程，请杀死这些进程。

Answer 2

我们试图在给定的节点上启动多个独立的kafka hdfs连接器。

您是否考虑过在Kafka Connect的单个实例中运行这些多个连接器？这可能会使事情变得更容易。

Kafka Connect本身可以处理在单个工作进程中运行的多个连接器。分布式模式下的Kafka Connect可以在单个节点上运行，也可以跨多个节点运行。