用于Kafka代理的AWS网络负载均衡器[重复]

Question

我有3个节点kafka集群（zookeeper也安装在相同的3个节点上）。我不确定我是否在我的经纪人面前部署了AWS NLB。我有3个生产者，即使平均分配给所有3个经纪人，他们也会决定在哪里分区等等。我不知道我能从AWS NLB中得到什么好处，也不知道它的缺点是什么。

Answer 1

我也对此进行了研究，但没有找到太多的帮助。我最终在我的经纪人面前放了一个TCP目标群体的NLB，这就是原因:

< li >省去一些DNS的麻烦。我在NLB A记录上有一个CNAME，我用它来计算我的引导服务器价值。我可以通过将新的代理添加到NLB目标组(通过Cloudformation)来无缝地进行水平扩展。由于DNS记录，我现在不会被我们AWS环境中的任何IP所束缚。我还为Zookeeper节点使用了Route53私有区域，因此代理只指向所有这些节点共享的整体A记录。 < li >利用内置的CW监控功能，轻松监控经纪人健康状况。 < li >我了解到使用ELB卸载SSL的好处，但我并不认为这是一个好处，因为客户端到代理的通信仍然是非SSL的。我不这么做，但我想我会列出来。

我还没有用NLB做过任何基准测试，但我不太担心。在我看来，简化的DNS是值得的。

干杯

编辑：代理协议不适用于 Kafka，因此，如果您希望能够通过源 IP 限制流量，则在安全组中，您必须对 NLB 目标组目标使用类型“实例”与类型“ip”。

https://aws.amazon.com/premiumsupport/knowledge-center/security-group-load-balancer/

从目标中使用 NLB 名称的经验教训：

https://aws.amazon.com/premiumsupport/knowledge-center/target-connection-fails-load-balancer/

对于这个问题，我只是将任何代理目标上的--bootstrap服务器切换为“localhost”。