Kafka镜子制造商:同步_ _消费者_抵消主题重复

Question

按照此处提到的解决方案，kafka-mire-maker-fasting-to-复制-消费者-偏移-主题。我能够跨DC1（Live Kafka集群）和DC2（Backup Kafka集群）集群启动镜像制作器而没有任何错误。

看起来它还能够从DC1集群跨DC2集群同步__consumer_offsets主题。

问题

如果我关闭 DC1 的使用者并将同一使用者（同一group_id）指向 DC2，即使镜像制造商能够同步本主题和分区的偏移量，它也会再次读取相同的消息。

我可以看到对数结束偏移显示正确，但当前偏移仍然指向旧的造成滞后。

例

>

Mirror Maker仍在DC2中运行。

DC1中的耗电元件关闭前

//DC1  __consumer_offsets topic
+-----------------------------------------------------------------+
| TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG  |
+-----------------------------------------------------------------+
| gs.suraj.test.1 0          10626           10626           0    |
| gs.suraj.test.1 2          10619           10619           0    |
| gs.suraj.test.1 1          10598           10598           0    |
+-----------------------------------------------------------------+

停止DC1中的耗电元件

在DC2中消费者启动之前

//DC2  __consumer_offsets topic
+-----------------------------------------------------------------+
| TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG  |
+-----------------------------------------------------------------+
| gs.suraj.test.1 0          9098            10614           1516 |
| gs.suraj.test.1 2          9098            10614           1516 |
| gs.suraj.test.1 1          9098            10615           1517 |
+-----------------------------------------------------------------+

由于这种延迟，当我在DC2中启动同一个消费者时，再次读取4549消息，这应该不会发生，因为它已经在DC1中被读取并提交，并且镜像生成器具有从DC1到DC2的sync < code > _ _ consumer _ offsets 主题

请让我知道我是否在这里遗漏了什么。

Answer 1

如果您使用的是Mirror Maker 2.0，他们会明确表示不支持一次性：

https://cwiki.apache.org/confluence/display/KAFKA/KIP-382： 镜子制造者 2.0#KIP-382：镜子制造者2.0-动机

但他们打算在未来这样做。