使用负载平衡器终止Kafka/SSL连接

Question

我们有两个Kafka节点，出于本问题范围之外的原因，我们希望设置一个负载平衡器来终止生产者（客户端）的SSL。负载平衡器托管的SSL证书将由客户端本机应信任的受信任/根CA签名。

所以连接看起来像：

Kafka Producers <---SSL/Port 9094--> Load Balancer <---TCP/Port 9092 ---> Kafka Node

这是否可行，或者Kafka是否以某种方式要求直接在Kafka服务器上设置SSL？

谢谢

Answer 1

是的，你完全可以做到这一点，我将使用AWS的ELB作为我设置它的示例。

我们有一个Kafka集群，集群中的生产者/消费者使用“私有”侦听器，我们还有公共生产者/消费者使用“公共”侦听器。因此，我们必须使用SSL保护公共生产者/消费者流量。Kafka集群位于ELB的后面，在接收到来自公共生产者/消费者的流量后，SSL在ELB终止。

要为代理设置的关键道具是（请注意，这些是docker容器的env vars）：

      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://${BROKER_NODE_PRIVATE_HOST}:9092,CLIENT://${ELB_DNS}:9093
      - KAFKA_LISTENERS=PLAINTEXT://${BROKER_NODE_PRIVATE_HOST}:9092,CLIENT://${BROKER_NODE_PRIVATE_HOST}:9093
      - KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,CLIENT:PLAINTEXT

现在，对于公共生产者/消费者来说，关键的支柱是

props.put("security.protocol", "SSL");

请注意，尽管公共Kafka客户端使用SSL，但在到达代理之前，SSL会在ELB中终止，因此Kafka集群只能使用明文操作。此外，公共Kafka客户端需要连接ELB\U DNS。

我不会详细介绍ELB和证书是如何设置的，但您只需要让ELB侦听器启用TLS并应用相关证书。在我们的例子中，我们让侦听器将流量转发到9093和8081（模式注册表）的Kafka代理实例。

最后，如果您使用的是架构注册表，请务必记住将权限从超文本传输协议更改为https。

Answer 2

事实证明，Kafka有自己的内部负载平衡协议，在Kafka客户端及其代理之间添加任何第三方平衡器都会干扰该协议并导致非常奇怪的行为。

不要这样做。

我想这样做的动机是因为我未能让SSL在客户端和代理之间正常工作，我认为在负载均衡器处终止SSL，然后允许均衡器和代理之间的明文通信会解决我的问题。它没有。不要这样做。

要么：

1. 弄清楚如何让SSL在客户端和经纪人之间工作（官方的Kafka用户邮件列表非常适合帮助我实现这一点）；或者
2. 不需要/支持SSL连接；或者
3. 将Web服务放在您的Kafka前面