Kafka producer在发送到通过AdminClient createTopics方法创建的主题时抛出“已接收未知主题或分区错误

Question

我对使用AdminClient CreateTopics创建主题有问题。在我的申请中，我有以下顺序：

1. 使用AdminClient.CreateTopics
创建具有1个分区、复制因子设置为1的新主题
2. 等待AdminClient.CreateTopicsKafKafuture结果
3. 立即向新创建的主题发送新消息（通常操作2和操作3之间的时间约为200毫秒）。

adminClient
  .createTopics(Collections.singleton(new NewTopic(targetTopic, 1, (short) 1)))
  .values()
  .get(targetTopic)
  .get();
producer.send(new ProducerRecord<>(targetTopic, data));

producer有时看不到创建的主题，并抛出以下异常：

[Producer ClientID=Producer-1]获取相关id为5的元数据时出错：{targettopic=unknown_topic_or_partition}

[Producer ClientID=Producer-1]在分区TargetTopic得Product请求中收到未知主题或分区错误.主题/分区可能不存在，或者用户可能没有对它的description访问权限

是否保证在AdminClient.CreateTopicsKafka future完成时创建主题，并且Kafka producer应该看到该主题？如果不是，那么哪种话题创作方法能给我这样的保证呢？

我正在使用Azure上的Kafka-Clients:2.0.0和Kafka HD服务。我的集群由3个Zookeeper和3个Kafka节点组成。

Answer 1

Kafka客户端对原子主题的创建没有任何保证。您可以从本文档中阅读。当您创建一个主题时，kafka会通知分布式系统关于主题的信息，因此操作是在不同的机器上运行的，如果没有分布式事务管理，这些机器就不可能是原子的。