Kafka producer在发送到通过AdminClient createTopics方法创建的主题时抛出“接收到的未知主题或分区错误”

Question

我对使用AdminClient createTopics创建的主题有异议。在我的应用程序中，我有以下顺序：

1. 创建具有1个分区的新主题，使用AdminClient.createTopics
将复制因子设置为1
2. 等待AdminClient.create主题KafkaFuture结果
3. 立即向新创建的主题发送新消息（通常操作2和3之间的时间约为200毫秒）。

我的代码如下：

adminClient
  .createTopics(Collections.singleton(new NewTopic(targetTopic, 1, (short) 1)))
  .values()
  .get(targetTopic)
  .get();
producer.send(new ProducerRecord<>(targetTopic, data));

制作人有时看不到创建的主题，并抛出以下异常：

[Producer clientId=Producer-1]获取相关id为5的元数据时出错：{targetTopic=UNKNOWN_TOPIC_或_PARTITION}

[Producer clientId=Producer-1]在targetTopic分区上的生成请求中收到未知主题或分区错误。主题/分区可能不存在，或者用户可能无权访问它

这个问题非常罕见（

是否保证当AdminClient.createTopicsKafka未来完成后，主题就被创建，Kafka生产者应该看到该主题？如果没有，那么哪种主题创建方法可以给我这样的保证？

我正在Azure上使用Kafka客户端：2.0.0和Kafka高清服务。我的集群由3个Zookeeper和3个Kafka节点组成。

Answer 1

kafka客户端不保证原子主题的创建。您可以从这个留档中阅读。当您创建主题时，kafka会通知分布式系统关于主题的信息，以便操作在不同的机器上运行，如果没有分布式事务管理，这些操作就不能是原子的。