使用库伯内特安装Kafka和动物园管理员集群

Question

任何人都可以分享我的yaml文件，用于创建具有两个kafka经纪人的kafka集群和具有3个服务器的动物园管理员集群。我是库伯内特斯的新手。

Answer 1

我想你可以看看斯特林齐项目，https://strimzi.io/。它基于 Kubernetes 运算符模式，提供了一种使用自定义资源在库伯内特上部署和管理 Kafka 集群的简单方法。通过新的“Kafka”资源 YAML 文件来描述Kafka群集，该文件用于设置所需的一切。操作员负责处理这个问题，并为您部署动物园管理员集合Kafka集群。它还部署了两个以上的运算符来处理主题和用户（但它们是可选的）。

Answer 2

我建议你试试斯特林齐Kafka运营商。使用它，你可以定义一个Kafka集群，就像其他库伯内特斯对象一样 - 编写一个yaml文件。此外，用户，主题和Kafka连接集群也只是一个k8s对象。斯特里姆齐·Kafka操作员的一些（不是全部！）功能：

• 使用TLS保护经纪人之间以及经纪人和动物园管理员之间的通信
• 能够将集群暴露在k8s集群之外
• 可部署为头盔图（它简化了很多事情）
• 更改集群配置时滚动更新
• 平滑扩展
• 准备使用Prometheus和Grafana监控集群。

值得一提的是一个很棒的文档。

创建Kafka集群就像应用这样的库伯内特斯清单一样简单：

apiVersion: kafka.strimzi.io/v1beta1
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    version: 2.2.0
    replicas: 3
    listeners:
      plain: {}
      tls: {}
    config:
      offsets.topic.replication.factor: 3
      transaction.state.log.replication.factor: 3
      transaction.state.log.min.isr: 2
      log.message.format.version: "2.2"
    storage:
      type: jbod
      volumes:
      - id: 0
        type: persistent-claim
        size: 100Gi
        deleteClaim: false
  zookeeper:
    replicas: 3
    storage:
      type: persistent-claim
      size: 100Gi
      deleteClaim: false
  entityOperator:
    topicOperator: {}
    userOperator: {}

Answer 3

看看https://github.com/Yolean/kubernetes-kafka，确保代理内存限制为2 GB或以上。

在库伯内特斯维持一个可靠的Kafka集群仍然是一个挑战，祝你好运。