Kafka服务器配置 - 侦听器与播发的侦听器

Question

要运行Kafka，需要在config/server中设置一些属性。属性文件。有两种设置我不理解。

有人可以解释侦听器和广告侦听器属性之间的区别吗？

留档说：

侦听器：套接字服务器侦听的地址。

和

advertised.listeners：主机名和端口代理将向生产者和消费者做广告。

我什么时候必须使用哪个设置？

Answer 1

从此链接：https://cwiki.apache.org/confluence/display/KAFKA/KIP-103:内外交通分离

在0.9.0.0发行周期中，引入了对每个代理多个侦听器的支持。每个侦听器都与一个安全协议、ip/主机和端口相关联。当与播发侦听器机制相结合时，有相当大的灵活性，但有一个限制：在两个配置中的每个配置中，每个安全协议最多只能有一个侦听器（listeners和advertized.listeners）。

在某些环境中，出于成本、性能和安全原因，可能需要独立于安全协议区分外部客户端、内部客户端和复制流量。以下几个例子说明了这一点：

< li >复制流量被分配到单独的网络接口，以便它不会干扰客户端流量。 < li >外部流量通过代理/负载平衡器(安全性、灵活性)，而内部流量直接影响代理(性能、成本)。 < li >即使安全协议相同，外部和内部流量的安全设置也不同(例如，启用不同的SASL机制、认证服务器、不同的密钥库等)。)

因此，我们建议 Kafka 代理应该能够为用于绑定（即侦听器）和共享（即通告侦听器）的同一安全协议定义多个侦听器，以便在需要时可以分离内部、外部和复制流量。

所以，

listeners -我们将监听的URIs及其协议的逗号分隔列表。将主机名指定为< code>0.0.0.0以绑定到所有接口。将主机名留空以绑定到默认接口。合法监听者列表的示例:

• PLAINTEXT://myhost:9092，TRACE://：9091
• PLAINTEXT://0.0.0:9092，TRACE://localhost:9093

播发的侦听器 - 如果与上面的侦听器不同，则发布到 ZooKeeper 供客户端使用。在 IaaS 环境中，这可能需要与代理绑定到的接口不同。如果未设置，则将使用侦听器的值。

Answer 2

由于我还不能评论，我将把这个作为一个“答案”贴出来，添加到M .情境答案中。

在他链接的同一文档中，有一个关于KAFKA客户端使用哪个侦听器的模糊（https://cwiki.apache.org/confluence/display/KAFKA/KIP-103：内部和外部流量的分离）：

如前所述，客户端永远不会看到侦听器名称，并且会像以前一样发出元数据请求。不同之处在于，它们返回的终结点列表仅限于它们发出请求的终结点的侦听器名称。

这很重要，因为取决于您在 bootstrap.servers 配置中使用的 URL，如果客户端在 advertised.listen 中映射，它将返回该 URL*（如果侦听器不存在，则不知道行为是什么）。

另请注意以下事项：

例外的是基于动物园管理员的消费者。这些消费者直接从ZooKeeper检索代理注册信息，并将选择第一个具有明文的侦听器作为安全协议(它们支持的唯一安全协议)。

代理配置示例(适用于集群中的所有代理):

advertised.listeners=外部：//XXXXX.compute-1.amazonaws.com:9990，内部：//ip-XXXXX.ec2.internal:9993

inter . broker . listener . name = INTERNAL

listener.security.protocol.map=外部：SSL，内部：PLAINTEXT

如果客户使用XXXXX.compute-1.ammazonaws。com:9990进行连接，元数据获取将转到该代理。但是，返回的与集团协调员或领导一起使用的URL可以是123.compute-1.amazonaws。com:9990*（另一台机器！）。这意味着匹配是在KIP-103公布的侦听器名称上进行的，与实际的URL（节点）无关。

由于EXTERNAL的协议映射是SSL，这将迫使您使用SSL密钥库进行连接。

另一方面，如果您在AWS中，那么您可以发出ip-XXXXX.ec2.internal：9993，并且相应的连接将按照协议映射是纯文本。

这在IaaS中尤其需要，在我的例子中，代理和消费者生活在AWS上，而我的生产者生活在客户端站点上，因此需要不同的安全协议和监听器。

编辑:添加入站规则也变得容易多了，因为您为不同的客户(代理、生产者、消费者)提供了不同的端口。

编辑2：如果上述内容仍然不清楚，本文是一个很好的深入指南：https://rmoff.net/2018/08/02/kafka-listeners-explained/

Answer 3

listeners是代理用来创建服务器套接字的工具。

通告侦听器是客户端将用于连接到代理的内容。

如果您有一个“复杂”的网络设置(比如公共和私有子网以及它们之间的路由)，这两个设置可能会有所不同。