Kafka消费群体将当前的抵消行为设置为最早？

Question

我有一个kafka主题，有25个分区，集群已经运行了5个月。

根据我对给定主题的每个分区的理解，偏移量从0，1，2开始...(无界)

我看到log-end-offset值很高(现在-

我创建了一个新的消费群体，偏移设置为最早；因此，我预期该消费者组的客户端将从偏移量0开始的偏移量。

我用来创建一个偏移量为最早的新消费者组的命令：

kafka-consumer-groups  --bootstrap-server <IP_address>:9092 --reset-offsets --to-earliest --topic some-topic --group to-earliest-cons --execute

我看到正在创建消费者组。我预计当前偏移量为0；然而，当我描述消费者组时，当前偏移量非常高，目前-

设置的记录保留期限为7天（标准值）。

我的问题是，为什么我们没有看到第一个偏移量，来自这个消费者组的消费者将从该偏移量读取0？它与数据保留有关吗？

有人能帮我理解吗？

Answer 1

正是数据保留。Kafka很可能已经从您的分区中删除了偏移量为0的旧消息，因此从0开始没有意义。相反，Kafka会将offset设置为分区上最早的可用消息。您可以使用以下方法检查这些偏移:

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list <IP_address>:9092 --topic some-topic --time -2

您可能会看到非常接近您所看到的新消费者抵消的值。

您还可以尝试将偏移量显式设置为0：

./kafka-consumer-groups.sh  --bootstrap-server <IP_address>:9092 --reset-offsets --to-offset 0 --topic some-topic --group to-earliest-cons --execute

但是，您会看到警告，指出偏移量0不存在，它将使用更高的值(前面提到的最早的可用消息)

New offset (0) is lower than earliest offset for topic partition some-topic. Value will be set to 1143755193