为什么当消息被消费者拿走时，Kafka主题队列不会为空？[重复]

Question

我正在学习Kafka，如果有人能帮助我理解一件事。“制作人”向Kafka主题发送消息。它会在那里停留一段时间（默认为7天，对吗？）。

但是“消费者”收到这样的信息，永远保持它在那里没有多大意义。我预计当消费者收到它们时，这些信息会消失。否则，当我再次连接到Kafka时，我将再次下载相同的消息。所以我必须管理重复的避免。

它背后的逻辑是什么？

问候

Answer 1

“制作人”向Kafka主题发送消息。它会在那里停留一段时间（默认为7天，对吗？）。

是的，生产者将数据发送到Kafka主题。每个主题都有自己的可配置cleanup.policy。默认情况下，它被设置为7天的保留期。您还可以根据字节大小配置主题的保留。

但“消费者”收到了这样的信息，并没有太大的意义将其永远留在那里。

Kafka可以被视为一个发布者/订阅者消息系统(尽管主要是一个流媒体平台)。它有一个很大的好处，即不止一个消费者可以阅读同一主题的相同消息。与其他消息传递系统相比，数据在消费者确认后不会被删除。

否则，当我再次连接到Kafka时，我将再次下载相同的消息。所以我必须管理重复的避免。

Kafka有“偏移量”和“消费者群体”的概念，我强烈建议熟悉它们，因为它们在使用Kafka时是必不可少的。每个使用者都是使用者组的一部分，主题中的每条消息都有一个称为“offset”的唯一标识符。偏移量就像一个唯一的标识符，在其生命周期内保持相同的消息。

每个消费者组都会跟踪它已经使用的消息（偏移量）。现在，如果您不想再次读取相同的消息，您的消费者组只需提交这些偏移量，它就不会再次读取它们。

这样，您就不会使用重复项，但其他使用者（具有不同的使用者组）仍能够再次读取所有消息。