Apache Kafka生产者经纪人连接

Question

我有一组Kafka代理实例作为集群运行。我有一个客户正在生产数据给Kafka：

props.put("metadata.broker.list", "broker1:9092,broker2:9092,broker3:9092");

当我们使用tcpdump进行监控时，我可以看到只有到broker1和broker2的连接被建立，而对于broker3，没有来自我的生产者的连接。我有一个只有一个分区的单一主题。

我的问题是:

>

为什么在我的情况下，我无法连接到broker3？或者至少我的网络监控没有显示我的制作人与broker3建立了连接？

如果我能从制片人的角度更深入地了解与经纪人的联系是如何运作的，那就太好了。

Answer 1

显然，您的制作人不需要连接到broker3：）

我将尝试向您解释向Kafka生成数据时会发生什么：

• 你旋转一些代理，比方说3，然后创建一些主题foo，有2个分区，复制因子2。很简单的例子，但对某人来说可能是一个真实的例子。
• 您创建了一个具有配置为这些代理的metadata.broker.list（或新生产者中的bootstrap.servers）的生产者。值得一提的是，您不一定要指定群集中的所有代理，事实上您可以只指定其中的1个，它仍然可以工作。我稍后也会解释这一点。
• 您使用您的生产者向主题foo发送消息。
• 生产者查找其本地元数据缓存，查看主题foo的每个分区有哪些代理是领导者，以及您的foo主题有多少分区。由于这是第一次发送到生产者，本地缓存不包含任何内容。
• 生产者发送一个TopicMetadataRequest到每个代理在metadata.broker.list顺序，直到第一个成功的响应。这就是为什么我提到列表中的一个经纪人只要活着就会工作。
• 返回的TopicMetadataSolutions将包含有关请求的主题的信息，在您的情况下是群集中的foo和代理。该答复基本上包含以下内容：
  • 集群中的代理列表，其中每个代理都有一个ID、主机和端口。此列表可能不包含集群中的整个代理列表，但应至少包含负责为主题主题提供服务的代理列表。
  • 主题元数据列表，其中每个条目具有主题名称、分区数、每个分区的前导代理ID和每个分区的ISR代理ID。

  制作人不需要打开到所有代理的不必要的连接，因为您要制作的主题可能不由某些代理提供服务，并且您的集群可能相当大。设想一个1000个代理集群有很多主题，但其中一个主题只有一个分区——您只需要一个连接，而不需要1000个。

  在你的特殊情况下，我不能100%确定为什么你有2个到代理的开放连接，如果你只有一个分区，但是我假设一个连接是在元数据发现期间打开的，并且被缓存用于重用，第二个是到的实际代理连接产生数据。然而，在这种情况下，我可能错了。

  但无论如何，根本不需要有第三个经纪人的连接。

  关于您的问题“我是否应该始终拥有经纪人数量=参与方数量？”答案很可能是否定的。如果你解释一下你正在努力实现的目标，也许我能为你指出正确的方向，但这太宽泛了，无法笼统地解释。我建议读这篇文章来澄清一些事情。

  UPD回答评论中的问题：

  元数据缓存在两种情况下更新：

  >

• 如果生产者由于任何原因未能与代理通信-这包括当代理根本无法访问和代理响应错误时的情况（如我不再是这个分区的领导者，走开）

  如果没有发生故障，客户端仍然会每隔元数据刷新一次元数据。最大年龄。ms(https://github.com/apache/kafka/blob/trunk/clients/src/main/java/org/apache/kafka/clients/CommonClientConfigs.java#L42-L43）发现新的代理和分区本身。