在KAFKA中消费邮件后删除邮件

Question

我正在使用apache kafka生成和使用一个5GB大小的文件。我想知道是否有一种方式从主题的消息被消费后自动移除。我有办法跟踪已消费的消息吗？我不想手动删除它。

Answer 1

在Kafka中，已经消费的东西的责任就是消费者的责任，这也是Kafka具有如此大的横向可扩展性的主要原因之一。

通过在Zookeeper中提交已消耗的偏移量（或者一个新的配置选项被一个特殊的Kafka主题用来跟踪已消耗的消息），使用高级消费者API将自动为您完成这一工作。

简单的消费者API使您能够自己处理如何和在哪里跟踪已消费的消息。

在Kafka中清除消息是通过为主题指定保留时间或为其定义磁盘配额来自动完成的，因此对于一个5GB文件，该文件将在您定义的保留时间过了之后被删除，无论它是否已被消耗。