当前位置: 首页 > 知识库问答 >
问题:

Java中的Kafka Connect动态连接器

计燕七
2023-03-14

这就是开发人员指南对动态连接器的描述https://docs.confluent.io/current/connect/devguide.html#dynamic-连接器

并非所有的连接器都有一组静态的分区,因此连接器实现还负责监控外部系统是否有任何可能需要重新配置的变化。例如,在JDBCSourceConnector示例中,连接器可能会为每个任务分配一组表。当创建一个新表时,它必须发现这一点,这样它就可以通过更新它的配置将新表分配给一个任务。当它注意到需要重新配置的变化(或任务数量的变化)时,它通知框架,框架更新任何相应的任务

我不知道该怎么做。

连接器类(扩展org . Apache . Kafka . connect . source . source connector)实现< code>taskConfigs(int),< code>start(Map

我是否应该在启动中生成一个线程(地图

如果检测到更改,我如何“通知框架”。JavaSDK中是否有一些API调用执行此操作,或者这是否意味着我必须调用停止()后跟开始()

谢谢。


共有1个答案

谷梁镜
2023-03-14

我是否应该在启动中生成一个线程(地图

是的,确切地说。

如何“通知框架”。

通过SourceConnector上下文的请求Task重配置()方法。

 类似资料:
  • 我参考了以下链接来了解Kafka的HDFS连接https://docs.confluent.io/2.0.0/Connect/connect-hdfs/docs/index.html 我能够通过配置单元集成将数据从Kafka导出到HDFS。 现在我正尝试在Java程序的帮助下将avro记录写入Kafka 当我把Avro记录写到Kafka主题时,我在Connect中出现以下错误

  • 问题内容: 我有一个使用JPA 2的相当标准的Java EE6 Web应用程序,并且具有依赖关系注入连接到MySQL数据库,并且一切正常。我现在想做的是让该应用程序与我们在客户端站点上安装的其他应用程序的数据库交互- 本质上充当我们其他应用程序安装的一个控制点。 我正在努力的是如何最好地与其他数据库进行交互。理想情况下,我想为每个安装创建一个EntityManager并使用JPA进行交互,但是我看

  • 技巧 有人问我,如何通过选项来指定动态连接器,而不使用缺省系统自带的动态连接器。我后来查了下ld的手册,有这么一个选项: -Ifile --dynamic-linker=file Set the name of the dynamic linker. This is only meaningful when generating dynamically linked ELF ex

  • 问题设置基于Web服务(Spring/Java、Tomcat7和MySql),其中每个用户都有自己的数据库,因此每个请求都需要自己的连接。由于所有数据库都是在运行时动态创建的,因此在启动之前静态配置它们不是一个选项。 为了优化数据库连接使用,数据库连接池的实现将是非常好的,对吗? 使用Java/Spring:如何为动态数据库创建连接池?我有点惊讶于这里缺少干净的选择 问题:Tomcat的连接池(以

  • 问题内容: 我正在(成功)使用以下命令连接到数据库: 一段时间后,我应该检查什么以检查连接是否仍处于打开状态? 我希望有类似的东西可供我使用。 问题答案: 没有。只需执行您的查询。如果连接已终止,则您的JDBC驱动程序将重新连接(如果它支持它,并且您在连接字符串中启用了它-大多数不支持它),否则您将得到异常。 如果检查连接是否正常,在实际执行查询之前它可能会掉线,因此通过检查绝对不会获得任何收益。

  • 致: 我怎么能这么做?