如何自动运行Kafka Connect连接器(例如在生产中)？

Question

有没有办法在Kafka Connect启动时自动加载(多个)Kafka Connect连接器(例如在Confluent Platform中)？

我目前发现的是:

ConFluent Docs状态为使用bin/连接独立命令进行独立模式，并为工作人员和每个连接器提供属性文件。

对于分布式模式，您必须通过REST API运行连接器。

https://docs.confluent.io/current/connect/userguide.html#standalone-mode，https://docs.confluent.io/current/connect/managing/configuring.html#standalone-example

是否有另一种方法，例如，包括应该在“连接-[独立|分布式]中运行的所有连接器。“属性”文件(类似于在ksql-server.properties中提供KSQL查询文件)，以便在Kafka Connect启动时自动加载它们(例如，在Confluent平台中)？

或者，即使在生产环境中，连接器也是如上所述“手动”加载的？

Answer 1

通常，在分布式模式下运行Kafka Connect时，您必须使用REST API。但是，您可以使用docker compose编写连接器创建的脚本；@Robin Moffatt就此写了一篇很好的文章:

kafka-connect:
  image: confluentinc/cp-kafka-connect:5.1.2
  environment:
    CONNECT_REST_PORT: 18083
    CONNECT_REST_ADVERTISED_HOST_NAME: "kafka-connect"
    […]
  volumes:
    - $PWD/scripts:/scripts
  command: 
    - bash 
    - -c 
    - |
      /etc/confluent/docker/run & 
      echo "Waiting for Kafka Connect to start listening on kafka-connect ⏳"
      while [ $$(curl -s -o /dev/null -w %{http_code} http://kafka-connect:8083/connectors) -eq 000 ] ; do 
        echo -e $$(date) " Kafka Connect listener HTTP state: " $$(curl -s -o /dev/null -w %{http_code} http://kafka-connect:8083/connectors) " (waiting for 200)"
        sleep 5 
      done
      nc -vz kafka-connect 8083
      echo -e "\n--\n+> Creating Kafka Connect Elasticsearch sink"
      /scripts/create-es-sink.sh 
      sleep infinity

注意事项：

>

在命令部分，$替换为$$以避免错误“命令”选项的插值格式无效

睡眠无限是必要的，因为我们已经将 /etc/confluent/docker/run 进程发送到后台线程（

配置连接器的实际脚本是一个单独文件中的curl调用。你可以将其构建到Docker Compose中，但感觉有点恶心。

如果您想在启动Kafka Connect之前安装自定义连接器插件，您可以将这一点和上述技术结合起来，例如conFluent-Hub安装--no-提示符conFluentInc/kafka-Conntion-gcs： 5.0.0 /etc/confluent/docker/run