Kafka consumer未显示该消息

Question

我试图了解一个Kafka的制作人是如何工作的。下面是我为发送消息而编写的python producer代码。我首先启动了Kafka控制台使用者，然后运行python代码

from confluent_kafka import Producer
from Product import Product
from faker import Faker



if __name__ == '__main__':


    config = {
        "bootstrap.servers":"localhost:9092"
    }
    producer = Producer(config)
    fake = Faker()
    product = Product(fake.name())
    print(product.serial())
    producer.produce(topic="first_topic",value=product.serial())

我面临的问题是，如果在调用produce之后调用flush方法，则消息会出现在控制台使用者上，但如果没有flush，则消息不会出现在控制台使用者中。根据Kafka的文件，同花顺将使生产者同步。有没有一种方法可以避免使用flush，同时还可以确保消息被使用。谢谢你

Answer 1

您要么需要刷新，要么需要通过更多消息填充生产者的批处理大小，或者通过confluent_kafka包中的一些librdkafka配置设置将批处理大小减小到单个消息以下