当前位置: 首页 > 知识库问答 >
问题:

群集上的合流控制中心

高晋
2023-03-14

我已经使用docker建立了zookeeper和kafka 5.4.0版的基本三服务器集群。对于zookeeper和html" target="_blank">kafka,我指定了所有三个引导服务器。我正在尝试以一种允许一台服务器宕机且集群仍能正常运行的方式进行设置。我试图让控制中心工作,但我遇到了问题。首先,似乎只有一台服务器能够成功运行control center,而且只有当我指定它运行的引导服务器时,而不是所有三台服务器。如果我尝试在其他两台服务器上启动control center,它们将无法启动,并且会持续记录以下内容:

INFO无法获取命令存储(io.confluent.command.CommandStore)

我不确定如何最好地完成这件事。因为它可能会有所帮助,所以我在我的docker-comush文件下方发布了动物园管理员/经纪人对以及控制中心的文件。如果我有任何错误的说明,或者您认为需要更改,请告诉我。

动物园管理员/Kafka经纪人码头工人。yml(其他两个仅因播发的侦听器IP不同):

---
version: '2'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:5.4.0
    hostname: zookeeper
    container_name: zookeeper
    network_mode: host
    restart: always
    ports:
      - "2181:2181"
    environment:
      ZOOKEEPER_SERVER_ID: 2
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
      ZOOKEEPER_INIT_LIMIT: 5
      ZOOKEEPER_SYNC_LIMIT: 2
      ZOOKEEPER_SERVERS: "10.100.1.1:2888:3888;10.100.1.2:2888:3888;10.100.1.3:2888:3888"
    volumes:
      - ./zk-data:/var/lib/zookeeper/data
      - ./zk-txn-logs:/var/lib/zookeeper/log

  broker:
    image: confluentinc/cp-enterprise-kafka:5.4.0
    hostname: broker
    container_name: broker
    depends_on:
      - zookeeper
    network_mode: host
    restart: always
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: '10.100.1.1:2181,10.100.1.2:2181,10.100.1.3:2181'
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: "PLAINTEXT://10.100.1.1:9092"
      KAFKA_METRIC_REPORTERS: io.confluent.metrics.reporter.ConfluentMetricsReporter
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 2
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      CONFLUENT_METRICS_REPORTER_BOOTSTRAP_SERVERS: 10.100.1.1:9092,10.100.1.2:9092,10.100.1.3:9092
      CONFLUENT_METRICS_REPORTER_ZOOKEEPER_CONNECT: 10.100.1.1:2181,10.100.1.2:2181,10.100.1.3:2181
      CONFLUENT_METRICS_REPORTER_TOPIC_REPLICAS: 2
      CONFLUENT_METRICS_ENABLE: 'true'
      CONFLUENT_SUPPORT_CUSTOMER_ID: 'anonymous'
    volumes:
      - ./kafka-data:/var/lib/kafka/data

控制中心docker compose。yml:

---
version: '2'
services:
  control-center:
    image: confluentinc/cp-enterprise-control-center:5.4.0
    hostname: control-center
    container_name: control-center
    network_mode: host
    restart: always
    ports:
      - "9021:9021"
    environment:
      CONTROL_CENTER_BOOTSTRAP_SERVERS: '10.100.1.1:9092'
      CONTROL_CENTER_ZOOKEEPER_CONNECT: '10.100.1.1:2181'
      CONTROL_CENTER_REPLICATION_FACTOR: 1
      CONTROL_CENTER_INTERNAL_TOPICS_PARTITIONS: 1
      CONTROL_CENTER_MONITORING_INTERCEPTOR_TOPIC_PARTITIONS: 1
      CONFLUENT_METRICS_TOPIC_REPLICATION: 1
      PORT: 9021
    volumes:
      - ./control-center:/var/lib/confluent-control-center

共有1个答案

梁丘兴腾
2023-03-14

1) 删除网络模式:主机

2l将control center添加到同一合成文件

3) zookeeper连接字符串使用zookeeper:2181,引导服务器使用kafka:9092。我不认为metrics reporters或控制中心有动物园管理员的财产

如果你想创建一个容器集群,那么你可能想看看融合的Helm图表,而不是Docker compose文件

 类似资料:
  • Sentinel 提供了一个 Envoy Global Rate Limiting gRPC Service 的实现 sentinel-cluster-server-envoy-rls,借助集群限流 token server 来为 Envoy 服务网格提供集群流量控制的能力。 Note: You can refer to here for the English version. 构建 若要构建可

  • 目录 集群流控介绍 集群流控规则配置 集群流控示例 集群流控管理(控制台) Envoy RLS token server 介绍 为什么要使用集群流控呢?假设我们希望给某个用户限制调用某个 API 的总 QPS 为 50,但机器数可能很多(比如有 100 台)。这时候我们很自然地就想到,找一个 server 来专门来统计总的调用量,其它的实例都与这台 server 通信来判断是否可以调用。这就是最基

  • 基于 Kubernetes 环境部署的 TiDB 集群监控可以大体分为两个部分:对 TiDB 集群本身的监控、对 Kubernetes 集群及 TiDB Operator 的监控。本文将对两者进行简要说明。 TiDB 集群的监控 TiDB 通过 Prometheus 和 Grafana 监控 TiDB 集群。在通过 TiDB Operator 创建新的 TiDB 集群时,可以参考通过 TidbMo

  • 我无法让控制中心工作。使用以下docker image=confluentinc/cp enterprise kafka设置了一个3节点的kafka集群。在另一台机器上,我下载了confluent platform v5。0.1,我已配置(尝试)control center来监视docker群集。 我用于控制中心配置的Kafka代理与confluent platform v5相同。0.1,下载。(

  • 我不知道如何在Kubernetes集群(不是minikube)上设置入口控制器。我遵循的每一个nginx入口设置都产生了一个错误,控制器设置不正确。基本上,我想要一个与minikube插件等效的命令来启用入口。谢谢 编辑1- 我正在遵循中提到的安装步骤https://kubernetes.github.io/ingress-nginx/deploy/我已经尝试了baremetal、cloud和其他

  • 集群运行起来后,你可以用 ceph 工具来监控,典型的监控包括检查 OSD 状态、监视器状态、归置组状态和元数据服务器状态。 交互模式 要在交互模式下运行 ceph ,不要带参数运行 ceph ,例如: ceph ceph> health ceph> status ceph> quorum_status ceph> mon_status 检查集群健康状况 启动集群后、读写数据前,先检查下集群的健