如何在分布式模式下部署kafka connect？

Question

我正在使用kubernetes中的JDBC接收器连接器构建Kafka-连接应用程序。我尝试了独立模式，它正在工作。我想转移到分布式html" target="_blank">模式。我可以通过运行下面的yaml文件成功构建两个pod（kafka连接器）：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  namespace: vtq
  name: kafka-sink-postgres-dis
spec:
  replicas: 2
  template:
    metadata:
      labels:
        app: kafka-sink-postgres-dis
    spec:
      containers:
      - name: kafka-sink-postgres-dis
        image: ***
        imagePullPolicy: Always

bin/connect-distributed.sh配置/worker.properties

bootstrap.servers=***:9092
offset.flush.interval.ms=10000

rest.port=8083
rest.host.name=127.0.0.1


key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=http://schema-registry:8081


# Prevent the connector from pulling all historical messages
auto.offset.reset=latest

# options below may be required for distributed mode

# unique name for the cluster, used in forming the Connect cluster group. Note that this must not conflict with consumer group IDs
group.id=connect-postgres-sink-dis

# Topic to use for storing offsets. This topic should have many partitions and be replicated.
offset.storage.topic=postgres-connect-offsets
offset.storage.replication.factor=3

# Topic to use for storing connector and task configurations; note that this should be a single partition, highly replicated topic.
# You MUST manually create the topic to ensure single partition for the config topic as auto created topics may have multiple partitions.

config.storage.topic=postgres-connect-configs
config.storage.replication.factor=3

# Topic to use for storing statuses. This topic can have multiple partitions and should be replicated.
status.storage.topic=postgres-connect-status
status.storage.replication.factor=3

并在每个 pod 内部创建了一个接收器连接器，任务.max=1，两个连接器侦听相同的主题。原来他们只是复制了。

curl -X POST -H "Content-Type: application/json" --data '{"name": "postgres_sink_dis", "config": {"connector.class":"io.confluent.connect.jdbc.JdbcSinkConnector", "tasks.max":"1", "connection.url":"***","topics":"***"}}' http://127.0.0.1:8083/connectors

但是我对kafka连接集群、工作人员、连接器和任务的概念感到非常困惑。我读了https://github.com/enfuse/kafka-connect-demo/blob/master/docs/install-connector.md.他们在配置连接器之前设置端口转发到Rest端口。我尝试了一下，在部署服务和创建连接器之后，curl-s没有返回172.0.0.1:8083/connectors.

谁能给我一个简短的描述，我下一步应该做什么，任何相关的信息将是非常有用的。谢谢！

更新：最后，我想出了问题并解决了问题。1. 使用相同的 group.id 和不同的 rest.port （https://docs.confluent.io/current/connect/userguide.html） 分别部署两个 pod/worker。2. 在容器内，创建包含任务的连接器。

Answer 1

例如，您有一个由两个工作人员/两个pod组成的连接器集群。您可以使用集群中的多个任务创建连接器（接收器或源），这些任务将分布在两个工作人员中。