Kafka使用者在重新启动后未从上次提交的偏移量消费

Question

我有一个用户轮询从订阅的主题。它消耗每条消息并进行一些处理（在几秒内），推送到不同的主题并提交偏移量。

总共有5000条信息,

重新启动前-消耗2900条消息和提交的偏移量

kafka版本（strimzi）>2.0.0 kafka-python==2.0.1

Answer 1

我们不知道您的主题中有多少个分区，但是当在同一个使用者组中创建使用者时，它们将使用来自不同分区的记录（我们不能在一个使用者组中有两个使用者使用同一个分区，如果您添加了一个使用者，组协调器将执行重新平衡的过程，将每个使用者重新分配到特定分区）。

我认为偏移量0来自属性auto.offset.reset,它可以是：

• 最新:从日志中的最新偏移量开始
• 最早:从最早的记录开始。
• none:当没有现有偏移量数据时引发异常。

但只有当您的消费者组没有提交有效的偏移量时,该属性才会启动。

注意：主题中的记录具有保留期log.retention.ms属性，因此在处理日志中的第一条记录时，可以删除最新的邮件。

问题：当您想从一个主题中获取消息，处理数据并将其写入另一个主题时，为什么不使用Kafka流式处理？