如何在分布式模式下运行Kafka-connect-replicator？

Question

我想使用 Confluent 的复制器将数据从一个系统复制到另一个系统。我正在使用两个Ubuntu 18.04系统，其中一个充当源，另一个充当目的地。

我尝试在分布式模式下运行kafka connect replicator，更改了以下配置：

< li >在confluent/etc/Kafka/server . properties中，我做了以下更改

SOURCE
> advertised.listeners=PLAINTEXT://source.ip:9092
DESTINATION
> advertised.listeners=PLAINTEXT://destination.ip:9092

 - group.id=connect-replicator

group.id is same on source and destination system

SOURCE

 - bootstrap.servers=destination.ip:9092, source.ip:9092

DESTINATION

 - bootstrap.servers=destination.ip:9092, source.ip:9092

源

name=replicator-source
connector.class=io.confluent.connect.replicator.ReplicatorSourceConnector
# source cluster connection info
src.kafka.bootstrap.servers=source.ip:9092
# Set to use direct connection to Zookeeper by Replicator on the source
src.zookeeper.connect=localhost:2181

# destination cluster connection info
dest.kafka.bootstrap.servers=destination.ip:9092
# Set to use direct connection to Zookeeper by Replicator on the destination
dest.zookeeper.connect=destination.ip:2181
# configure topics to replicate
topic.whitelist= test-topic
topic.rename.format=${topic}.replica

目的地

name=replicator-source
connector.class=io.confluent.connect.replicator.ReplicatorSourceConnector
# source cluster connection info
src.kafka.bootstrap.servers=source.ip:9092
# Set to use direct connection to Zookeeper by Replicator on the source
src.zookeeper.connect=source.ip:2181

# destination cluster connection info
dest.kafka.bootstrap.servers=destination.ip:9092
# Set to use direct connection to Zookeeper by Replicator on the destination
dest.zookeeper.connect=destination.ip:2181
# configure topics to replicate
topic.whitelist= test-topic
topic.rename.format=${topic}.replica

然后，我在源系统中创建了主题，并使用下面的命令启动了连接器

PATH_TO_CONFLUENT

之后，我从源系统生成主题中的数据，并尝试在目标系统中使用主题名{topic}。副本，但没有主题可供使用。




Answer 1

匿名用户

不清楚你有什么错误，但有一些注意事项。

1. 连接分布式只接受一个属性文件，而不是两个。HTTP 将属性作为 JSON 发布到连接群集，而不是在群集启动期间加载属性文件。快速入门文件旨在用于独立连接

JSON应该是这样的

{"name": "your-replicator-name", "config": {
  "src.kafka.bootstrap.servers": "...",
  ...
}

/etc/kafka/connect是分布式的。属性应该是在分布式模式下运行任何连接或复制器群集的起点，尽管复制器连接分布式中可能有类似的配置

< code>bootstrap.servers应该只指向一个集群。源和目标将在< code > src . Kafka . bootstrap . servers 和< code > dest . Kafka . bootstrap . servers 中分开