当前位置: 首页 > 知识库问答 >
问题:

Kafka Connect:如何将自定义连接器(SMT)添加到现有的Kafka Connect docker安装?

仰英发
2023-03-14

我有一个Kafka Connect集群,它有JDBC源连接器插件。我也有自己的定制SMT,它是一个jar文件,可以使用JDBC源连接器插件来处理我的用例,例如my-custom-1.0.0.jar。例如以下内容。变压器类型是我自己的java类MySMT

"transforms": "mytransformer", 
"transforms.mytransformer.type": "com.my.MySMT"

我知道我可以将jar文件放在plugin.path中。然而,是否可以重新加载连接器插件(JDBC源连接器)来加载我的SMT jar,而不重新启动Kafka Connect集群?

如果不是,最好的做法是什么?

谢谢你。

共有1个答案

松骏俊
2023-03-14

插件不是动态加载的,因此您需要重新启动工作程序

另一种方法是让源连接器数据尽可能原始,然后使用流处理器处理成消费者可以使用的格式

 类似资料:
  • 考虑logdj、slf4j等日志库。它们有类似于<代码>日志的方法。信息(“”)。假设我想在这个库的顶部添加我自己的自定义方法,这样我就可以像这样使用它 log.audit ('') 向现有库中添加此类自定义方法的最佳方法是什么?

  • 我参考了以下链接来了解Kafka的HDFS连接https://docs.confluent.io/2.0.0/Connect/connect-hdfs/docs/index.html 我能够通过配置单元集成将数据从Kafka导出到HDFS。 现在我正尝试在Java程序的帮助下将avro记录写入Kafka 当我把Avro记录写到Kafka主题时,我在Connect中出现以下错误

  • 我使用Dropwizard Metrics library记录我的应用程序中各种操作的时间,使用计时器和控制台报告器,并将计数、平均速率等记录到控制台fine。 我希望这些数字也可以在 /metricsservlet上使用,并且基于http://metrics.dropwizard.io/3.1.0/manual/servlets/我需要访问名为的Metric注册表。但是查看文档和代码,我看不到是

  • 问题内容: 如何添加自定义CSS文件?以下配置对我不起作用: 结果: 问题答案: 一种简单的方法是将其添加到您的: 然后将文件放入文件夹。

  • 我想在定义路线时向路线添加一些自定义数据。 我该怎么做? 比如: 我不希望自定义数据显示在URL中。我只是在内部使用它。

  • 向Postgres连接器中添加新表的步骤应该是什么?我的连接器正在跟踪两个表(表1和表2),我想添加另一个表(表3),它已经存在,并且在我的数据库中有数据。 这是我当前的配置: } 我试图修改连接器“table.include.list”并将“public.table3”添加到列表中,但它似乎没有触发此表的快照过程。 有什么想法吗?