使用带头盔的Kafka/Confluent连接器

Question

我已经安装了Kafka在当地的Minikube通过使用Helm图表https://github.com/confluentinc/cp-helm-charts按照以下说明https://docs.confluent.io/current/installation/installing_cp/cp-helm-charts/docs/index.html如下：

helm install -f kafka_config.yaml confluentinc/cp-helm-charts --name kafka-home-delivery --namespace cust360

kafka_config.yaml 几乎与默认的 yaml 相同，唯一的例外是我将其缩减为 1 个服务器/代理而不是 3 个（只是因为我试图节省本地 minikube 上的资源;希望这与我的问题无关）。

同样在Minikube上运行的还有一个MySQL实例。下面是 kubectl get pods --namespace myNamespace 的输出：

我想使用其中一个连接器（例如Debezium MySQL CDC）连接MySQL和Kafka。在说明中，它说：

安装您的连接器

使用ConFluent Hub客户端安装此连接器：

安装debezium/debezia连接器mysql： 0.9.2

听起来不错，除了1)我不知道在哪个pod上运行这个命令，2)似乎没有一个pod有汇流中心命令可用。

问题：

< li >合流枢纽不是通过那些舵图来安装的吗？ < li >我必须自己安装合流集线器吗？ < li >如果是，我必须将它安装在哪个pod上？

Answer 1

Kafka Connect吊舱应该已经安装了汇流集线器。你应该在那个吊舱上运行命令。

Answer 2

只是对上面杰根评论的补充:https://stackoverflow.com/a/56049585/6002912

您可以选择执行下面的Dockerfile。推荐。

FROM confluentinc/cp-server-connect-operator:5.4.0.0

RUN confluent-hub install --no-prompt debezium/debezium-connector-postgresql:1.0.0

或者你可以使用Docker的多阶段构建。

FROM confluentinc/cp-server-connect-operator:5.4.0.0

COPY --from=debezium/connect:1.0 \
    /kafka/connect/debezium-connector-postgres/ \
    /usr/share/confluent-hub-components/debezium-connector-postgres/

这将帮助你节省时间，为你的插件如debezium-connector-postgres获取正确的jar文件。

来自Confluent文档：https://docs.confluent.io/current/connect/managing/extending.html#create-a-docker-包含图像的c-hub-连接器

Answer 3

理想情况下，这应该可以作为helm脚本的一部分进行配置，但遗憾的是，到目前为止还没有。解决这一问题的一种方法是从Confluent的Kafka Connect Docker镜像构建一个新的Docker。手动下载连接器并将内容提取到文件夹中。将其内容复制到容器中的路径。类似下面的内容。

Dockerfile的内容

FROM confluentinc/cp-kafka-connect:5.2.1
COPY <connector-directory> /usr/share/java

/usr/stock/java是Kafka Connect查找插件的默认位置。您还可以在helm安装期间使用不同的位置并提供新位置（plugin.path）。

构建此映像并将其托管在可访问的位置。在helm安装期间，您还必须提供/覆盖图像和标签详细信息。

以下是< code>values.yaml文件的路径。您可以在这里找到< code>image和< code>plugin.path值。