如何保证debezium生成、存储在kafka并发送到Spark的主题事件顺序？

Question

我使用的debezium带有一个重路由选项，它将所有表的更改发送到仅一个kafka主题。有了这样的配置，我确信我可以从spark中读到独特的Kafka主题。

但我的问题是：如果我使用debezium而不使用重路由选项，并且我在不同的Kafka主题中对每个表进行了更改，我如何保证我以正确的顺序阅读了所有主题的事件？

我知道我可以使用Spark来订购它，例如通过时间戳，但如果说，一个kafka主题离线10分钟，因为一个问题出现了，但其他kafka主题继续工作，我将在Spark一个订购问题。

我该如何面对这个问题呢？

Answer 1

我在Debezium上用这个配置解决了这个问题

{
"name": "name-connector",
"config": {
    "plugin.name": "pgoutput",
    "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
    "database.hostname": "0.0.0.0",
    "database.port": "5433",
    "database.user": "postgres",
    "database.password": "******",
    "database.dbname" : "database",
    "database.server.name": "database",
    "database.history.kafka.bootstrap.servers": "kafka:9092",
    "database.history.kafka.topic": "schema-changes.database",
    "decimal.handling.mode" : "string",
    "time.precision.mode" : "connect",
    "tombstones.on.delete" : false,
    "transforms":"routerTopic",
    "transforms.routerTopic.type":"io.debezium.transforms.ByLogicalTableRouter",
    "transforms.routerTopic.topic.regex":"database.public.(.*)",
    "transforms.routerTopic.topic.replacement":"database.public",
}
}

使用Transforms.RouterTopic.topic.Regex和Transforms.RouterTopic.topic.Replacement配置主题路由

https://debezium.io/documentation/reference/0.10/configuration/topic-routing.html