合流Kafka Replicator|消费者组偏移未复制到目标集群

Question

更新：

通过从开始：为目标群集上的使用者设置 false 找到了解决方法。不是最好的解决方案，但它的工作原理...

由于某些原因，所有使用者组偏移量都没有复制到目标群集。例如，我在源集群上用消费者组TEST启动消费者（所有消息都被拉入），然后在复制到目标集群的同一主题上启动消费者（使用消费者组TET），结果是两个消费者都获得了所有消息。

我读过关于消费者补偿翻译功能的文章，但是没有成功。

消费者配置:

bootstrap.servers=sourceKafkaEndpoint:9092
interceptor.classes=io.confluent.connect.replicator.offsets.ConsumerTimestampsInterceptor

生产者配置：

bootstrap.servers=destKafkaEndpoint:9092

复制器配置:

connector.class=io.confluent.connect.replicator.ReplicatorSourceConnector
auto.offset.reset=latest
topic.config.sync=false
config.action.reload=none

可执行命令：

replicator --consumer.config consumer.properties --producer.config producer.properties --replication.config replication.properties --topic.regex ".*" --cluster.id replicator

Kafka信息：

Source cluster Kafka version: 2.0.1-cp4
Destination cluster Kafka version: 2.4.1

有什么想法吗？

Answer 1

这是一个老问题，我想很多事情已经改变了，但这是为了更好，因为现在复制者被记录得更好了。

正如这里解释的：

即使在topic.regex中匹配，Replicator也不会从源群集复制内部__consumer_offsets或__transaction_state主题。要复制这些主题，请将它们列在topic.whitelist中

这是因为消费者组偏移在集群之间是没有意义的。你不能指望它们是相同的。有关更多详细信息，请参阅我的另一篇文章。
实现此类任务的唯一可靠方法是通过时间戳保存使用偏移转换。它允许根据源集群的消息创建时间将__consumer_offsets转换到目标集群。