汇流JDBC源连接器增量起始行
我想使用Confluent的JDBC源连接器将数据从SQL Server表检索到Kafka中。
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
mode=incrementing
incrementing.column.name=id_column_name
任何帮助都将不胜感激。
共有1个答案
您可以尝试使用基于查询的ingest或手动在offsets主题中添加适当的值。
来源：Robin Moffatt的Kafka Connect Deep Dive-JDBC Source Connector
-
我有一个kafka主题，有200万条消息，我的刷新大小是100000，默认分区为分布式模式，有4个工作者，我可以看到数据在几秒钟内立即写入HDFS（10到15秒）。 我看到创建了一个+tmp目录和文件夹，并且每次触发一个新连接器时都会创建主题。 kafka connect的行为是每次都写得这么快，还是已经将数据存储在HDFS中，并根据连接器属性将其移动到主题目录？ 我需要清楚这是怎么发生的。如果我
-
我们已经成功地使用了MySQL - 使用jdbc独立连接器的kafka数据摄取，但现在在分布式模式下使用相同的连接器（作为kafka connect服务）时面临问题。 用于独立连接器的命令，工作正常 - 现在，我们已经停止了这一项，并以分布式模式启动了kafka connect服务，如下所示 2 个节点当前正在运行具有相同连接服务。 连接服务已启动并正在运行，但它不会加载 下定义的连接器。 应该对
-
我本可以使用而不是第二个，因为它不映射任何东西，但我不确定这是否是peek方法的可接受用法。 我也可以在第二个中使用一个有状态映射器来只运行一次，而不是用索引压缩，我想这是可以接受的，因为我已经使用了一个有状态谓词...
-
在我们的一个环境中，tomcat 8具有以下JDBC数据源配置： netstat命令返回以下结果： 55 这一结果在几天内保持稳定。 同时，我通过JMX监控tomcat数据源属性： #0 #5 这些结果在几天内也保持稳定。 看起来tomcat创建了初始大小为5个连接的JDBC连接池，将空闲连接的数量保持在5个，但是由于某些原因，netstat显示的已建立连接的数量是原来的11倍。 当上下文中的mi
-
在我发布配置之后，当我执行HTTP curl时，状态是。在worker的日志中也没有错误日志，当我检查它时，在kafka主题中也没有数据。当我尝试做一个控制台-消费者时，我还尝试了其他几种组合，比如在。 我尝试的另一件事是使用这两个链接https://rmoff.net/2018/05/21/kafka-connect-and-oracle-data-types/https://www.confl
-
我正在尝试将来自主题的数据（json数据）写入MySql数据库。我想我需要一个JDBC接收器连接器。 我如何配置连接器以将主题中的json数据映射到如何将数据插入数据库。 我能找到的文件只有这个。 “接收器连接器需要了解架构，因此您应该使用合适的转换器，例如架构注册表附带的Avro转换器，或启用了架构的JSON转换器。如果存在Kafka记录键，则可以是基元类型或连接结构，记录值必须是连接结构。从连