如何开始在开源Apache kafka中运行kafka连接器？

Question

我试图使用开源的apache kafka运行Kafka连接器(不是使用confluent)

bin/connect-distributed.sh config/connect-distributed.properties

这很好，但这种方式只启动Kafka连接工作程序，我如何加载社区连接器？

bin/connect-distributed.sh config/connect-distributed.properties --config filesource.properties
bin/connect-distributed.sh config/connect-distributed.properties filesource.properties

我尝试了上面的两个命令，都没有给出错误，但无法加载连接器模块。另一个问题，我键入什么命令来检查连接器的状态？

Answer 1

关于检查连接器的状态，可以使用curl GET命令。

curl -X GET http://localhost:8083/connectors/connector_name/status|jq

jq是可选的，它提供了更好的可视化。如果您想检查所有连接器，我可以推荐使用以下脚本：

curl -s "http://localhost:8083/connectors"| jq '.[]'| xargs -I{connector_name} curl -s "http://localhost:8083/connectors/"{connector_name}"/status"| jq -c -M '[.name,.connector.state,.tasks[].state]|join(":|:")'| column -s : -t| sed 's/\"//g'| sort

我强烈建议为此使用jq。您应该看到每个任务的输出为“正在运行”“失败”或“未分配”。

编辑：创建连接器：

curl -XPOST --header "Content-Type: application/json"  localhost:8083/connectors  -d
'{
    "name": "your_connector",
    "config": {
    "connector.class": "io.debezium.connector.oracle.OracleConnector",
    "database.user": "user123"
    }
}'