带有TimescaleDB扩展的Debezium连接器

Question

设置：

我安装了Postresql(11.10版）和TimescaleDB(1.7.1版）扩展。我有2个表，我想用安装在Kafka Connect上的Debezium(ver1.3.1)连接器监视它们，目的是CDC（捕获数据更改）。

表是table1和table2hyper，但table2hyper是hypertable。

在Kafka Connect中创建Debezium连接器后，我可以看到创建了2个主题（每个表一个）：

• (A)kconnect.public.table1
• (B)KConnect.Public.Table2Hyper

当使用主题A的kafka-console-consumer消费消息时，我可以在表1中看到行更新后的消息。

但是当使用来自主题B的消息(table2hyper table changes）时，在例如table2hyper table中的行更新之后不会发出任何消息。

Initialy Debezium connector对table2hyper表中的行执行快照，并将它们发送到主题B（当使用kafka-console-consumer时，我可以看到主题B中的消息），但在初始快照后所做的更改不会发出。

为什么我无法从Table2Hyper中看到后续更改（在初始快照之后）？

连接器创建负载：

{
    "name": "alarm-table-connector7",
    "config": {
        "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
        "tasks.max": "1",
        "database.hostname": "xxx",
        "database.port": "5432",
        "database.user": "xxx",
        "database.password": "xxx",
        "database.dbname": "xxx",
        "database.server.name": "kconnect",
        "database.whitelist": "public.dev_db",
        "table.include.list": "public.table1, public.table2hyper",
        "plugin.name": "pgoutput",
        "tombstones.on.delete":"true",
        "slot.name": "slot3",
        "transforms": "unwrap",
        "transforms.unwrap.type":"io.debezium.transforms.ExtractNewRecordState",
        "transforms.unwrap.drop.tombstones":"false",
        "transforms.unwrap.delete.handling.mode":"rewrite",
        "transforms.unwrap.add.fields":"table,lsn,op"
    }
}

提前Thx！

Answer 1

尝试了一段时间后，我没有成功地用Debezium连接器从超表流式传输数据。我使用的是1.3.1版本。并升级至最新版本1.4.1。帮不上忙。

不过，我确实成功地使用了汇流JDBC连接器。

就我的研究和测试而言，这是结论，如果有必要，请随时纠正我：

null