理解Kafka分区元数据

Question

我正在NodeJs应用程序中使用kafka-node通过loadMetadataForTopics选项创建主题。我希望我的应用程序动态地了解可用分区的数量，以便它能够在这些分区上正确地分发消息。

在单个节点Kafka实例中，方法创建主题并返回元数据，如下所示：

  "step1_channelOut": {
    "0": {
      "topic": "step1_channelOut",
      "partition": 0,
      "leader": 1,
      "replicas": [
        1
      ],
      "isr": [
        1
      ]
    }
  },

但是,在三节点集群中,该方法会创建更多的条目：

{
    "0": {
        "topic": "step1_channelOut",
        "partition": 0,
        "leader": 3,
        "replicas": [
            3,
            2,
            1
        ],
        "isr": [
            3,
            2,
            1
        ]
    },
    "1": {
        "topic": "step1_channelOut",
        "partition": 1,
        "leader": 1,
        "replicas": [
            1,
            3,
            2
        ],
        "isr": [
            1,
            3,
            2
        ]
    },
    "2": {
        "topic": "step1_channelOut",
        "partition": 2,
        "leader": 2,
        "replicas": [
            2,
            1,
            3
        ],
        "isr": [
            2,
            1,
            3
        ]
    },
    "3": {
        "topic": "step1_channelOut",
        "partition": 3,
        "leader": 3,
        "replicas": [
            3,
            1,
            2
        ],
        "isr": [
            3,
            1,
            2
        ]
    }
}

在本例中，它创建了4个分区吗？在我看来是这样的--因为这只是最后一个案例场景（真的显式设置分区），我并不真正关心它做什么，只要它是可预测的。这就是说我控制的越多越好。

zookeeper中的主题信息与kafka服务器上的主题信息之间的关系是什么？有没有更好的方法通过NodeJS操作（创建/配置主题）kafka集群？

为什么是四个隔板？我可以理解三个，或者一个，但是四个？

Answer 1

kafka-node的工作方式是根据server.properties中的全局Kafka配置创建主题。检查的值：

num.partitions=12
default.replication.factor=1

代理的数量和分区的数量之间没有自动的关系。您可以有100个代理设置，但只需要为主题设置1个分区，也可以有1,000个分区的单个代理设置。他们没有血缘关系。

没有用于创建主题的非Java API--至少现在还没有。请看我之前未回答的问题。

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 12 --topic <topic_name_here>

我在node中使用：

const exec = require('child_process').exec;

function createTopic(topic, replFactor, numPartitions, cb) {
  var zkHost = "localhost:2181";
  var kafkaHome = "/usr/local/kafka";

  exec(
    `${kafkaHome}/bin/kafka-topics.sh --create --zookeeper ${zkHost} -- replication-factor ${replFactor} --partitions ${numPartitions} --topic ${topic}`,
    (error,stderr,stdout) => cb(topic)
  );
}