带有AWS Kinesis-PostgreSQL快照加载和事务元数据流的Debezium嵌入式引擎

Question

我想使用Debezium嵌入式引擎和AWS Kinesis来加载PostgreSQL数据库的初始快照，然后连续执行CDC。

我知道，有了Kafka Connect，为了检查事务边界，我将有一个现成的事务元数据主题。

如果使用相同的Debezium嵌入式引擎和AWS Kinesis(https://Debezium.io/blog/2018/08/30/streaming-mysql-data-changes-into-Kinesis/)，那么在这种情况下我会有Kinesis事务元数据流吗？另外，Debezium嵌入式引擎会对现有的PostgreSQL数据执行初始快照吗？

已更新

我用PostgreSQL实现了测试EmbeddedEngine应用程序：

    engine = EmbeddedEngine.create()
            .using(config)
            .using(this.getClass().getClassLoader())
            .using(Clock.SYSTEM)
            .notifying(this::sendRecord)
            .build();

现在，在我的'send record（SourceRecord record)'方法中，我可以看到参与事务的每个数据库表的正确主题，例如：

private void sendRecord(SourceRecord record) {

    String streamName = streamNameMapper(record.topic());
    System.out.println("streamName: " + streamName);

结果转换为以下输出：

streamName: kinesis.public.user_states
streamName: kinesis.public.tasks

Answer 1

如果您不是具体使用Debezium嵌入式引擎，那么Debezium本身提供了一个选项，它被称为Dewbezium服务器（在内部，我相信它使用了Debezium引擎）。它是一个很好的替代使用Kafaka，它支持Kinesis，Google PubSub，Apache Pulsar到目前为止，为CDC。

这里有一篇文章，您可以参考https://xyzcoder.github.io/2021/02/19/cdc-using-debezium-server-mysql-kinesis.html