Kafka在代理集群前支持ELB吗？

Question

我有一个关于AWS上Kafka经纪人集群的问题。现在集群前面有一个AWS ELB，但当我将生产者或消费者的“bootstrap.servers”属性设置为ELB的“A”记录（以及正确的端口号）时，生产者和消费者都无法分别生成和使用消息。我已经关闭了我的代理上的所有SSL，并通过明文9092端口进行连接，我的ELB将端口1234转发到9092。例如，在我的Producer配置属性中，我将。。。

bootstrap.servers=（ELB的“A”记录）： 1234

更多信息：

• 我的ELB协议是TCP/TCP

有谁有幸在厄尔布背后操纵Kafka吗？如果是这样，请帮帮我！

Answer 1

IMHO，不建议在Kafka集群中添加额外的SLB。

• Kafka集群本质上是分散的，SLB增加了单点故障风险，并使集群设置复杂化。
• 消息的发送和接收是网络延迟敏感的，SLB肯定会降低消息的吞吐量。

Answer 2

您可以使用ELB作为引导。服务器，但客户机仍需要直接访问代理。ELB将用于客户端发出的初始元数据请求，以确定哪些主题分区在哪些代理上，但之后它将使用服务器的主机名（或播发的侦听器设置，如果您需要自定义它，例如，在EC2实例上可能需要此设置来获取服务器的公共IP）。