Debezium Postgres Kafka连接器心跳不提交LSN

Question

我有一个AWS RDS上的Postgres Db和一个Kafka连接连接器（Debezium Postgres）在桌上监听。连接器的配置：

{
  "name": "my-connector",
  "config": {
    "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
    "database.dbname": "my_db",
    "database.user": "my_user",
    "max.queue.size": "32000",
    "slot.name": "my_slot",
    "tasks.max": "1",
    "publication.name": "my_publication",
    "database.server.name": "postgres",
    "heartbeat.interval.ms": "1000",
    "database.port": "my_port",
    "include.schema.changes": "false",
    "plugin.name": "pgoutput",
    "table.whitelist": "public.my_table",
    "tombstones.on.delete": "false",
    "database.hostname": "my_host",
    "database.password": "my_password",
    "name": "my-connector",
    "max.batch.size": "10000",
    "database.whitelist": "my_db",
    "snapshot.mode": "never"
  },
  "tasks": [
    {
      "connector": "my-connector",
      "task": 0
    }
  ],
  "type": "source"
}

该表不像其他表那样频繁更新，这最初导致了复制延迟，如下所示：

SELECT slot_name,
  pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn)) as replicationSlotLag,
  pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), confirmed_flush_lsn)) as confirmedLag,
  active
FROM pg_replication_slots;
           slot_name           | replicationslotlag | confirmedlag | active
-------------------------------+--------------------+--------------+--------
 my_slot                       | 1664 MB            | 1664 MB      | t

它会变得如此之大，以至于有可能耗尽所有磁盘空间。

我添加了一个心跳，如果我登录到kafka代理并设置这样的控制台消费者：/Kafka控制台消费者。sh——我的引导服务器。经纪人地址：9092——主题_udebezium-heartbeat。博士后——从一开始就是消费者。config=/etc/kafka/consumer。属性它将转储所有心跳消息，然后每1000毫秒显示一条新消息。

然而，插槽的大小仍在不断增长。如果我在表中插入一条虚拟记录，它会将插槽设置回一个小延迟，这样就可以了。

不过，我还是想心跳一下。我不想插入定期消息，因为这听起来会增加复杂性。为什么心跳没有减少插槽大小？

Answer 1

请看一看https://debezium.io/documentation/reference/1.0/connectors/postgresql.html#wal-磁盘空间

您真的需要发出周期性消息，但现在有一个帮助-https://issues.redhat.com/browse/DBZ-1815