按键连接多个Kafka主题

Question

如何以可伸缩的方式编写连接多个Kafka主题的使用者？

我有一个主题用一个键发布事件，第二个主题用相同的键发布与第一个主题的子集相关的其他事件。我想编写一个订阅这两个主题的使用者，并为出现在这两个主题中的子集执行一些额外的操作。

理想情况下，我需要将主题绑定在一起，以便以相同的方式对它们进行分区，并同步地将分区分配给使用者。我怎么能这么做？

我知道Kafka Streams将主题连接在一起，这样键就分配给了相同的节点。他们是怎么做到的？附言。我不能使用Kafka流，因为我使用的是Python。

Answer 1

可惜您使用的是Python--Kafka Streams将是一个完美的匹配：）

如果要手动完成此操作，则需要实现自己的PartitionAssignor--实现必须确保分区在赋值中位于同一位置：假设每个主题有4个分区（我们称它们为A和B)，而分区A_0和B_0必须分配给同一个使用者（也是A_1和B_1，...)。

我希望Python consumer允许您通过配置参数partition.assignment.strategy指定自定义分区分配器。

Streams使用了tasks的概念--tasks获得不同主题的分区，并分配了相同的分区号。Streams还试图执行“粘性分配”--即，如果可能的话，在重新平衡的情况下不要移动任务（因此也不要移动分区）。因此，每个使用者都在rebalance元数据中编码其“旧分配”。

基本上，#subscription()方法对每个活动的使用者调用。它将向代理发送消费者的订阅信息（即消费者希望订阅的主题）和可选的元数据。

在第二步中，消费者组的领导者将在#assign()内计算实际的分配。负责代理在重新平衡的第一阶段收集#subscription()提供的所有信息，并将其交给#assign()。这样，领导者就可以得到整个组的全局概览，从而可以确保分区是以一种共同定位的方式分配的。

• https://cwiki.apache.org/confluence/display/kafka/kafka+streams+architecture
• http://docs.confluent.io/current/streams/architecture.html