将单个Kafka主题的信息分发给特定的消费者

Question

Avro对单个Kafka主题的信息进行编码，单个分区。这些消息中的每一条都只能由特定的消费者使用。对于ex，关于这个主题的消息a1、a2、b1和c1，有3个消费者，分别名为A、B和C，每个消费者将获得所有消息，但最终A将使用a1和a2、b1上的B和c1上的C。

我想知道当在Kafka上使用avro时，这是如何典型地解决的：

1. 让使用者反序列化消息，然后由某个应用程序逻辑决定使用消息还是删除消息
2. 使用分区逻辑将每个消息发送到特定分区，然后将每个使用者设置为只侦听单个分区
3. 设置另外3个主题和一个小型kafka-stream应用程序，该应用程序将执行从主主题到这3个特定主题的过滤+路由操作
4. 利用kafka报头注入标识符以供下游消费者过滤

看来每种选择都有利弊。我想知道是否有一个惯例，人们遵循或有一些其他的方法来解决这个问题。

Answer 1

这要看情况...

如果您只有一个单独的分区主题，唯一的选择是让每个使用者读取所有数据，并筛选使用者感兴趣的数据的客户端。在这种情况下，每个使用者都需要使用不同的group.id来将使用者彼此隔离开来。

选项2当然是可能的，如果你能控制你正在阅读的输入主题。对于每个使用者，您可能仍然有不同的group.ids，因为使用者似乎代表不同的应用程序，应该相互隔离。问题仍然是这是否是一个好的模型，因为分区的思想是提供水平扩展和数据并行处理；但是，如果每个应用程序只从一个分区读取，它似乎不符合这个模型。您还需要知道哪些数据进入哪个分区的生产者端和消费者端，以便正确地进行映射。因此，这意味着生产者和消费者之间的“协调”，这似乎是不可取的。