Kafka在Strimzi上的部署

Question

我正在尝试使用 Strimzi 部署 Kafka，问题是，它将 Kafka 代理暴露为负载均衡器并为其分配外部 IP。我希望 Kafka 代理在内部可用，并且仅通过负载均衡器公开。下面是我的部署文件。

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    version: 3.1.0
    replicas: 2
    listeners:
      - name: plain
        port: 9092
        type: internal
        tls: false
      - name: external
        port: 9094
        type: loadbalancer
        tls: false
    config:
      offsets.topic.replication.factor: 2
      transaction.state.log.replication.factor: 2
      transaction.state.log.min.isr: 2
      default.replication.factor: 2
      min.insync.replicas: 2
      inter.broker.protocol.version: "3.1"
    storage:
      type: ephemeral
  zookeeper:
    replicas: 2
    storage:
      type: ephemeral

下面的集群截图

如您所见，有 3 个分配了外部 IP 的负载均衡器，而我希望它是一个具有外部 IP 的负载均衡器和 2 个 Kafka 代理。

Answer 1

是的，基于Kafka发现协议，这种行为是正确的。所以首先让我们了解一下-

1. 经过身份验证的Kafka客户端在第一次连接期间连接到任何代理（这是使用库伯内特斯服务完成的）
2. 代理返回一个/多个主题的元数据。
3. 在获得所需领导者分区的详细信息后，客户端打开到该特定代理的新连接。即使客户端需要连接到第一个代理，它也会终止现有连接（#1）并与该代理启动新连接。

现在我们知道Kafka客户端直接连接到代理以发送/接收记录，负载均衡器只出现在初始连接的画面中，它将客户端重定向到任何一个可用的代理。现在假设，如果我们也将负载均衡器用于后续连接，会发生什么——负载均衡器将客户端连接到任何可用的代理，这些代理可能有也可能没有客户端想要连接的分区领导者。所以Kafka使用上面描述的发现协议来处理这个事情。

Answer 2

这是因为Kafka的设计方式。客户端需要能够直接访问集群中的每个代理。因此，负载均衡器虽然可以方便地公开集群，但并没有真正对任何内容进行负载均衡。它只是路由连接。您可以在以下博客文章中找到有关它如何以及为什么像这样工作的更多详细信息：https://strimzi.io/blog/2019/04/17/accessing-kafka-part-1/