如何在库伯内特斯上创建Kafka连接器？

Question

我正在分布式模式下使用 cp-kafka-connect Helm chart 在 Google Kubernetes Engine （GKE） 上部署 Kafka-connect。

一个工作的Kafka集群与代理和动物园管理员已经在同一个GKE集群上运行。我知道我可以通过发送帖子请求到http://localhost:8083/connectorsendpoint来创建连接器，一旦它可用。但是，Kafka连接容器进入运行状态，然后开始加载jar文件，直到所有的jar文件都被加载，上面提到的endpoint是不可达的。

我正在寻找一种方法来自动化手动< code > exec pod的步骤，检查endpoint是否准备好，然后发送post请求。我有一个shell脚本，它有一堆对这个endpoint的< code>curl -X POST请求来创建连接器，并且也有这些连接器的配置文件，它们在独立模式下工作良好(在这个汇合博客中使用汇合平台展示)。

现在只有两种方法来创建连接器:

1. 以某种方式确定容器何时真正准备就绪（当endpoint开始侦听时），然后运行包含 curl 请求的 shell 脚本
2. 或者像在独立模式下一样使用配置文件（例如：$

以上哪种方法更好？

第二种方法（配置文件）在分布式模式下是否可行？

• 如果是：如何做到这一点？
• 如果否：如何成功地完成第一种方法中解释的内容？

编辑：关于他的github问题（感谢下面@cricket_007的回答），我在endpoint准备就绪后创建了容器命令和连接器，因此添加了以下内容：

...
command:
  - /bin/bash
  - -c
  - |
    /etc/confluent/docker/run &
    echo "Waiting for Kafka Connect to start listening on kafka-connect  "
    while : ; do
      curl_status=`curl -s -o /dev/null -w %{http_code} http://localhost:8083/connectors`
      echo -e `date` " Kafka Connect listener HTTP state: " $curl_status " (waiting for 200)"
      if [ $curl_status -eq 200 ] ; then
        break
      fi
      sleep 5
    done
    echo -e "\n--\n+> Creating Kafka Connector(s)"
    /tmp/scripts/create-connectors.sh
    sleep infinity
...

/tmp/scripts/create-connectors.sh 是一个外部挂载的脚本，其中包含一堆使用 CURL 到 Kafka-connect API 的 POST 请求。




Answer 1

融合本地不与远程Connect集群交互，例如Kubernetes中的集群。

请参考Kafka Connect REST API

您可以像在集群中运行的任何其他 RESTful API 一样连接到它（例如，通过 Nodeport 或入口/API 网关）

上述endpoint无法访问。

本地主机是您输入命令的物理机器，而不是远程GKE集群

以某种方式确定容器何时真正准备好

Kubernetes健康检查对此负责

kubectl get services

只有两种方法可以创建连接器

那不是真的。您可以在集群中额外运行 Landoop 的 Kafka Connect UI 或 Confluent Control Center 进行指向和单击。

但是如果您有本地配置文件，您也可以编写代码来与API交互

或者试试看能不能为这期做个公关

https://github.com/confluentinc/cp-docker-images/issues/467