AdminUtils.createTopicAPI可以连接到多个zookeeper节点吗？

Question

在尝试使用下面提到的 createTopics 函数创建主题时，我在多节点 kafka 集群中遇到了“复制因子：1 大于可用代理：多节点集群上的 0”。我有 3 个 kafka 代理，我尝试为每个主题创建 2 个分区，并将复制因子保持在 1。不知道为什么得到这个错误。在单节点设置（1个动物园管理员和1个kafka经纪人）中，这同样可以很好地工作。

非常感谢任何帮助/

错误:

kafka.admin.AdminOperationException: replication factor: 1 larger than available brokers: 0
at kafka.admin.AdminUtils$.assignReplicasToBrokers(AdminUtils.scala:117)
at kafka.admin.AdminUtils$.createTopic(AdminUtils.scala:403)
at kafka.admin.AdminUtils.createTopic(AdminUtils.scala)
at io.confluent.examples.producer.ZookeeperUtil.createTopics(ZookeeperUtil.java:98)
at io.confluent.examples.producer.ProducerGroup.<init>(ProducerGroup.java:50)
at io.confluent.examples.producer.ProducerGroup.main(ProducerGroup.java:124)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:497)
at org.codehaus.mojo.exec.ExecJavaMojo$1.run(ExecJavaMojo.java:297)
at java.lang.Thread.run(Thread.java:745)






private static final int DEFAULT_SESSION_TIMEOUT = 10 * 1000;
private static final int DEFAULT_CONNECTION_TIMEOUT = 8 * 1000;
private static final String ZOOKEEPER_CONNECT = "zNode01:2181,zNode02:2181,zNode03:2181";

/**
 * Opens a new ZooKeeper client to access the Kafka broker.
 */
private static ZkClient connectToZookeeper ()
{
    return new ZkClient(ZOOKEEPER_CONNECT,
                        DEFAULT_SESSION_TIMEOUT,
                        DEFAULT_CONNECTION_TIMEOUT,
                        ZKStringSerializer$.MODULE$);
}

/**
 * Given a ZooKeeper client instance, accesses the broker and returns
 * information about Kafka's contents.
 *
 * @param zookeeperClient A ZooKeeper client to access broker information
 *                        through.
 */
private static ZkUtils zookeeperUtility (ZkClient zookeeperClient)
{
    boolean isSecureCluster = false;
    return new ZkUtils(zookeeperClient, 
                       new ZkConnection(ZOOKEEPER_CONNECT),
                       isSecureCluster);
}


public static void createTopics (ArrayList<String> names, int partitions, int replication)
{
    ZkClient zkClient = connectToZookeeper();
    ZkUtils zkUtils = zookeeperUtility(zkClient);

try{
    for (String name: names)
    {
        if (existsTopic(name))
            continue;

        AdminUtils.createTopic(zkUtils, name, partitions, replication, new Properties(),RackAwareMode.Disabled$.MODULE$);

    }

} catch (Exception ex) {
    ex.printStackTrace();
} finally {
    if (zkClient != null) {
        zkClient.close();
    }
}
}

我按照以下说明设置了一个多节点kafka集群。

设置多节点阿帕奇动物园守护者集群

在集群的每个节点上，将以下行添加到文件kafka/config/zookeeper.properties中

    server.1=zNode01:2888:3888
    server.2=zNode02:2888:3888
    server.3=zNode03:2888:3888
    #add here more servers if you want
    initLimit=5
    syncLimit=2

在群集的每个节点上，在由 dataDir 属性表示的文件夹中创建一个名为 myid 的文件（默认情况下，该文件夹为 /tmp/动物园管理员 ）。myid 文件应仅包含节点的 id（“1” 表示 zNode01，“2” 表示 ZNode02，依此类推）

设置多代理Apache Kafka集群

在群集的每个节点上，修改属性 zookeeper.从文件 kafka/config/server.属性中连接：

    zookeeper.connect=zNode01:2181,zNode02:2181,zNode03:2181

在群集的每个节点上，修改 host.name 从文件Kafka/配置/服务器属性的属性：主机名称=zNode0x

在集群的每个节点上，修改kafka/config/server.properties文件中的属性broker.id(集群中的每个代理都应该有一个唯一的id)

Answer 1

错误是您的代理没有运行，而不是您不能为客户使用多个Zookeeper地址（是的，您可以）

在较新版本的Kafka中，您可以将AdminClient与引导一起使用。服务器，而不是动物园管理员。连接