Kafka Consumer未获取所有消息

Question

我尝试在Kafka中创建新主题时启动动态消费者，但动态启动的消费者总是缺少起始/第一条消息，但从那里开始消费消息。我正在使用kafka-python模块，并且正在使用更新的KafkaConsumer和KafkaProducer。

producer = KafkaProducer(bootstrap_servers='localhost:9092')
record_metadata = producer.send(topic, data)

consumer = KafkaConsumer(topic,group_id="abc",bootstrap_servers='localhost:9092',auto_offset_reset='earliest')

请建议一些解决这个问题的方法，或者我必须包含在我的生产者和消费者实例中的任何配置。

Answer 1

是否可以将auto_offset_reset设置为最早。

当创建新的使用者流时，它从最新的偏移量（这是auto_offset_reset的默认值）开始，您将错过在使用者未启动时发送的消息。

你可以在kafka python Doc中读到它。相关部分如下

auto_offset_reset(str)-一个重置OffsetOutOfRange错误的偏移量的策略：“最早”将移动到最早的可用消息，“最新”将移动到最近的消息。任何其他值都将引发异常。默认值：“最新”。