我怎样组合桌子。包括列表和列。包括如果需要快照一个表的一部分和另一个表的完整数据,请在Debezium连接器配置中列出?
连接器配置示例:
"table.include.list":"schema.table1, schema.table2",
"column.include.list":"schema.table1.col1, schema.table1.col2"
有了这些,我得到了Kafka表格1的所有栏目。
只管理如何使用不同的连接器来完成。
我想使用一个连接器获取表2中的所有列和表1中的两列,可以吗?
这应该行得通:
"table.include.list":"schema\.table1,schema\.table2",
"column.include.list":"schema\.table1\.{col1|col2},schema\.table2\..*"
设置: 我安装了Postresql(11.10版)和TimescaleDB(1.7.1版)扩展。我有2个表,我想用安装在Kafka Connect上的Debezium(ver1.3.1)连接器监视它们,目的是CDC(捕获数据更改)。 表是table1和table2hyper,但table2hyper是hypertable。 在Kafka Connect中创建Debezium连接器后,我可以看到创建
Google最终增加了对Cloudsql、postgresql逻辑复制/解码支持的支持。我正在尝试使用Debezium捕获数据库表上的更改,然后将json中的更改发布到Gcp PubSub。我使用带有Gcp Pubsub接收器的Debezium服务器只是为了验证连接是否工作,但不断得到以下错误消息 所以它似乎默认插件为,但是我在环境变量中设置了。根据这个文档https://hub.docker.c
在Flink 1.11中,我正在尝试使用debezium格式,以下应该可以工作,对吗?我在试着遵循文档[1] 输出代码段/异常: 我已经验证了Debezium设置,dbserver1中有消息。库存产品主题。我可以使用其他方法阅读Flink中的Kafka主题,但如前所述,我希望使用debezium json格式。 此外,我知道Flink 1.12引入了新的Kafka Upett连接器,但我现在无法使
我正在尝试使用Debezium将Amazon RDS中托管的Postgres SQL db与Kafka主题连接起来。 我正在遵循以下教程: 我的kafka和kafka connect服务启动良好,kafka connect服务还在/usr/share/java dir中接收我的debezium postgres连接器jar。 但是,在尝试通过kafka connect API使用以下curl命令附
我想使用Kafka发布MSSQL CDC事件。 我将Docker容器用于: null 所有容器开始成功运行。 然后我在SQL Server容器中创建了新的MSSQL数据库。在新数据库中创建了1个表,并为该表打开了CDC。疾控中心运作良好。 然后我将下面的连接器配置发送到Kafka Connect REST API,如下所示: com.microsoft.sqlserver.jdbc.sqlserv
Debezium 是一个为捕获数据更改 (Change Data Capture, CDC) 提供低延迟的流式处理平台,利用 Kafka 和 Kafka Connect 实现了持久性、可靠性和容错性。 Debezium 有很多非常有价值的使用场景,我们在这儿仅仅列出几个更常见的使用场景。 缓存失效 (Cache invalidation) 在缓存中缓存的条目(entry)在源头被更改或者被删除的时