Kafka从主题中删除记录时不使用偏移量，而是按记录的一个字段

Question

假设我有一个名为“批处理”的主题，有一个分区，我向它发布了数百万条记录以供处理。我有一个由3人组成的消费者小组来处理这些数以百万计的记录。我遇到了这样一种情况：我不再需要处理满足特定标准（如age）的特定消息子集

如何以编程方式从主题中删除这些消息。就像我在用户界面中点击一个“取消”按钮，它应该从主题中删除那些记录的子集

我知道我可以通过运行带有偏移量的命令行来删除消息：-https://github.com/apache/kafka/blob/trunk/bin/kafka-delete-records.sh

还有Java API，但同样是通过偏移量：

https://kafka.apache.org/11/javadoc/org/apache/kafka/clients/admin/AdminClient.html#deleteRecords-爪哇。util。地图组织。阿帕奇。Kafka。客户。管理删除记录-

删除偏移量小于相应分区给定偏移量的记录

但是在我的情况下，我不能使用偏移量，因为我只需要删除某些记录，而不是所有小于给定偏移量的记录




Answer 1

你不能，Kafka不是设计用来像数据库一样使用的，它实际上是一个不可变的提交日志。删除记录工具主要用于管理任务。

有一个例外，那就是如果使用日志压缩。如果你有一个压缩的主题，你可以通过向主题发布一条带有NULL值的记录来删除键的值。压缩主题通常像数据库提交日志一样使用，您可以将它们读入某个下游服务，在那里它像表一样具体化。NULL值应解析为记录删除。

因此，在您的用例中，您可以将主题具体化为一个系统，该系统针对SELECT key FROM TABLE WHERE age这样的查询进行了优化

Answer 2

我需要指出的主要事情是，您不应该将Kafka中的数据视为数据库中的数据。Kafka没有被设计成以这样的方式工作（例如：当我点击X按钮时，Y记录将被删除）。

相反，您应该将主题视为永无止境的数据流。为Kafka主题生成的每个记录都将由消费者独立消费和处理。

将主题视为流会为您提供不同的解决方案：

您可以使用第二个主题，其中包含过滤结果！

Streaming Diagram
                            ___ Topic A ____
--  Produced Messages -->  |                |      _______________________
                           |________________| --> |                       |
                                                  | Filtering Application |
                            ___  Topic B ___      |                       |
                           |                | <-- |_______________________|
<-- Consumed Messages --   |________________|