为什么消费者在创建主题（以编程方式）和发布消息后无法立即看到消息？

Question

我注意到，如果我在创建主题后立即创建主题并发布消息（都在同一个生产者程序中），消费者程序不会分配分区（即consumer.assignment（）返回空分区列表）。然而，如果在消费者订阅主题之前添加一些等待，那么分区分配工作正常，消费者接收消息。

为什么？

Answer 1

发送消息是异步的，这意味着发送方法只将记录添加到缓冲区，并立即返回。如果您在调用send后立即开始阅读。要传输的记录可能仍在缓冲空间中。这就是为什么您必须等待一段时间才能看到生成的消息。对于您的场景，KafkaProducer提供了一个刷新方法，该方法使所有缓冲记录立即可供发送（即使linger.ms大于0），并在完成与这些记录相关的请求时阻塞。请参阅下面的代码：

for(ConsumerRecord<String, String> record: consumer.poll(100))
    producer.send(new ProducerRecord("my-topic", record.key(), record.value());
producer.flush();
consumer.commit();