我正在尝试使用docker容器中的kafka connect和一个自定义连接器(PROGRESS _ DATADIRECT _ JDBC _ OE _ all . jar)来连接openedge数据库。
我将JAR文件放在插件路径(usr/share/java)中,但它不会作为连接器加载。
COPY Openedge/PROGRESS_DATADIRECT_JDBC_OE_ALL.jar /usr/share/java/progress
我可以通过将另一个(标准)连接器放在插件路径中来加载它。这行得通
COPY confluentinc-kafka-connect-jdbc-10.3.2 /usr/share/java/confluentinc-kafka-connect-jdbc-10.3.2
有点不知道如何前进,我对Kafka很陌生。我的主要信息来源是kafka streaming的openedge和如何使用Kafka connect
JDBC驱动程序不是Connect插件,也不是连接器本身。
您需要设置JVMCLASSPATH
环境变量来检测JDBC驱动程序,就像任何Java进程一样。
链接站点上的说明建议您将JDBC驱动程序复制到现有Confluent JDBC连接器的目录中。虽然您可以使用DockerCOPY
命令,但更好的方法是使用汇流集线器安装
@OneCricketeer有解决办法。作为对我的回顾,也希望对其他人有所帮助,以下是我实现这一目标的步骤。将JDBC连接器复制到CONNECT_PLUGIN_PATH,并使用合流集线器安装进行安装:
COPY confluentinc-kafka-connect-jdbc-10.3.2.zip /usr/share/java
RUN confluent-hub install --no-prompt /usr/share/java/confluentinc-kafka-connect-jdbc-10.3.2.zip
按照@OneCricketeer的建议把驱动(我最后用的是openedge.jar)复制到其他jar所在的路径(比如sqllite)。
COPY Openedge/openedge.jar /usr/share/confluent-hub-components/confluentinc-kafka-connect-jdbc/lib
按照本页的建议,通过启用DEBUG进行验证。最后添加一个.properties文件来创建连接器。在我的案例中,基于上面的“openedge to kafka streaming”链接
我参考了以下链接来了解Kafka的HDFS连接https://docs.confluent.io/2.0.0/Connect/connect-hdfs/docs/index.html 我能够通过配置单元集成将数据从Kafka导出到HDFS。 现在我正尝试在Java程序的帮助下将avro记录写入Kafka 当我把Avro记录写到Kafka主题时,我在Connect中出现以下错误
我有Kafka主题,有多种类型的消息流入并使用Kafka Connect写入弹性搜索。流看起来不错,直到我不得不将唯一的消息集分离到唯一的索引中。也就是说,我必须根据字段(JSON消息)为新的数据集获取新的索引。 我如何配置/定制Kafka connect以实现同样的功能?每个消息都包含一个表示消息类型和时间戳的字段。 示例 Json 如下所示: Sample1: {“log”:{“data”:“
目标是:开发一个自定义Kafka连接器,该连接器以循环方式从websocket读取消息。我试着给你们举一个我所认识到的例子: 我创建了一个接口IWebsocketClientEndpoint 以及实现上述接口的类: WebsocketClientEndpoint类专用于创建websocket并管理连接、断开连接、发送和接收消息。 目标是:如何在Kafka连接结构中调整我的websocket结构?我
1.1. 自定义接入 1.1.1. 开发者使用说明 1.1. 自定义接入 使用 自定义接入 功能可以很方便的调试开发中的远程驱动, 目前支持 HTTP 远程驱动, TCP 远程驱动的调试。 1.1.1. 开发者使用说明 启动远程驱动,比如你的驱动的地址是 http://192.168.0.1。 在 Rokid App 中,点击添加设备,选择 自定义接入, 然后点击 绑定。 点击绑定后,在接下来的界
对于我的项目,我们被要求实现我们自己的连接池。我们不允许使用来自jdbc的PGPoolingDataSource。当我使用jdbc池时,我的程序运行得非常快,而我自己的连接池运行得不可预测,速度也慢得多。我的连接使一些任务等待了很长时间,这是jdbc池所没有的。 我正在使用Arrayblockingqueue实现连接池,我只是创建一个预先说过的连接数,然后让客户机借用并放回。 我是说这对我来说似乎
我创建了自己的库(com.custom.mylib),它返回一个字符串,如下所示。 我创建了一个将使用上述库的项目。我已将lib作为pom依赖项包含在内。但是当我尝试从我的应用程序调用库方法时。我得到了下面的错误。如何解决它? 请考虑在您的配置中定义一个“com.custom.mylog.MyLibrary”类型的bean。 我在application.properties文件中也有下面的内容,这