筛选Debezium中的读取访问事件

Question

我们正在使用Debezium+PostgreSQL。

注意，我们得到了用于创建、读取、更新和删除的4种类型的事件-c、r、u和D。

事件的读取类型未用于我们的应用程序。实际上，我想不出'r'事件的用例，除非我们正在审计或镜像事务的活动。

我从一个贡献者那里得到了使用snapshot.mode的线索。我想当Debezium创建一个快照时必须要做的事情。我不知道怎么做。

Answer 1

很可能您的数据库已经存在了一段时间，并且包含已从逻辑解码日志中清除的数据和更改。然后，如果您开始使用Debezium PostgreSQL连接器来捕获对Kafka的更改，那么问题就变成了Kafka中事件的使用者应该能够看到什么。

一种情况是，使用者应该能够看到数据库中所有行的事件，甚至是CDC启动之前存在的那些行。例如，这允许使用者完全再现/复制所有现有数据，并使这些数据随时间保持同步。要实现这一点，Debezium PostgreSQL连接器启动时可以先创建数据库内容的快照，然后再开始捕获更改。这是以原子方式完成的，因此即使快照进程运行需要一段时间，连接器仍将看到自快照进程启动以来发生的所有事件。这些事件表示为“读取”事件，因为实际上连接器只是读取现有行。但是，它们与“插入”事件相同，因此任何应用程序都可以以相同的方式处理读取和插入。

另一方面，如果Kafka中事件的使用者不需要查看所有现有行的事件，那么可以将连接器配置为避免使用快照，而是从捕获更改开始。在某些情况下，这可能很有用，因为在这些情况下，整个数据库状态不需要在Kafka中找到，而目标只是简单地捕获正在发生的更改。