为什么Kafka镜像制作者目标主题包含一半的原始消息？

Question

我想复制Kafka集群中某个主题的所有消息。所以我运行Kafka Mirrormaker，但是它似乎只复制了大约一半来自源集群的消息(我检查了源主题中没有消费者延迟)。我在源集群中有2个代理，这与此有什么关系吗？

这是源群集配置：

log.retention.ms=1814400000
transaction.state.log.replication.factor=2
offsets.topic.replication.factor=2
auto.create.topics.enable=true
default.replication.factor=2
min.insync.replicas=1
num.io.threads=8
num.network.threads=5
num.partitions=1
num.replica.fetchers=2
replica.lag.time.max.ms=30000
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
socket.send.buffer.bytes=102400
unclean.leader.election.enable=true
zookeeper.session.timeout.ms=18000

源主题有 4 个分区，并且未压缩。镜像制造商配置是：

• mirrormaker-consumer.properties

bootstrap.servers=broker1:9092,broker2:9092
group.id=picturesGroup3
auto.offset.reset=earliest

• mirrormaker-producer.properties

bootstrap.servers=localhost:9092
max.in.flight.requests.per.connection=1
retries=2000000000
acks=all
max.block.ms=2000000000

以下是 Kafdrop 在源集群主题上的统计数据：

这些是镜像制造商运行后目标主题的统计信息：

正如您所看到的，基于大小列，大约只有一半的源消息位于目标主题中。我做错了什么？

Answer 1

我意识到这个问题的发生是因为我将数据从一个有2个代理的集群复制到一个有1个代理的集群。所以我假设Mirrormaker1只是从原始集群中的一个代理复制了数据。当我将目标集群配置为有2个代理时，所有的消息都被复制到其中。

关于@OneCricketeer使用Mirrormaker2的建议，这也有效，但是我花了一段时间才得到正确的配置文件：

clusters = source, dest

source.bootstrap.servers = sourcebroker1:9092,sourcebroker2:9092
dest.bootstrap.servers = destbroker1:9091,destbroker2:9092
topics = .*
groups = mm2topic
source->dest.enabled = true
offsets.topic.replication.factor=1
offset.storage.replication.factor=1
auto.offset.reset=latest

此外，镜像制造商2可以在此Kafka连接项目的连接容器中找到（进入容器，在/kafka/bin目录中将有 connect-mirror-maker.sh 可执行文件）。

Mirrormaker2解决方案的一个主要缺点是，它将为目标集群中的主题添加前缀（在我的情况下，新名称需要更改应用程序代码）。在Mirrormaker2配置中无法更改前缀，因此唯一的方法是实现自定义Java类，如本文所述。