如何让Kafka Connect BigQuery接收器连接器为每个事件类型而不是每个主题创建一个表？

Question

我在我们的Kafka（Avro）事件上使用conFluentinc/kafka-connect-bigquery。在某些主题上，我们有不止一种事件类型，例如，UserRegiated和UserDelet在主题domain.user上。

模式注册表中的主题如下所示。

curl --silent -X GET http://avro-schema-registry.core-kafka.svc.cluster.local:8081/subjects | jq .

[...]
  "domain.user-com.acme.message_schema.domain.user.UserDeleted",
  "domain.user-com.acme.message_schema.domain.user.UserRegistered",
  "domain.user-com.acme.message_schema.type.domain.key.DefaultKey",
[...]

我的属性/连接器。属性（我正在使用quickstart文件夹。）如下所示：

[...]
topics.regex=domain.*
sanitizeTopics=true
autoCreateTables=true
[...]

在BigQuery中创建了一个名为domain_user的表。但是，我希望有两个表，例如，domain_user_userregistered和domain_user_userdeleted或类似的表，因为这两种事件类型的模式完全不同。我如何实现这一点？




Answer 1

我认为您可以使用SchemaNameToTopic单消息转换来执行此操作。通过将主题名称设置为模式名称，这将传播到创建的BigQuery表的名称。