debezium生成事件的Kafka连接日期处理

Question

我正在使用debezium SQL Server跟踪生产基地上的更改。创建了主题，CDC的工作非常出色，但是当试图使用jdbcSinkConnector将数据转储到另一个Sql Server DB中时，我遇到了以下错误。

com.microsoft.sqlserver.jdbc.sqlserverexception：一个或多个值超出datetime2 SQL Server数据类型的值范围

在源数据库上，sql数据类型为timestamp2(7)。Kafka事件为1549461754650000000。架构类型为Int64。架构名io.debezium.time.nanotimestamp。

我找不到一种方法告诉TimestampConverter值不是以毫秒或微秒表示的，而是以纳秒表示的（无论如何，微秒不起作用）。

这是我的连接器配置

{
    "name": "cdc.swip.bi.ods.sink.contract",
    "config": {
        "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
        "tasks.max": "1",
        "topics": "swip.swip_core.contract",
        "connection.url": "jdbc:sqlserver://someip:1234;database=DB",
        "connection.user": "loloolololo",
        "connection.password": "muahahahahaha",
        "dialect.name": "SqlServerDatabaseDialect",
        "auto.create": "false",
        "key.converter": "io.confluent.connect.avro.AvroConverter",
        "value.converter": "io.confluent.connect.avro.AvroConverter",
        "key.converter.schemas.enable": "true",
        "key.converter.schema.registry.url": "http://localhost:8081",
        "value.converter.schemas.enable": "true",
        "value.converter.schema.registry.url": "http://localhost:8081",
        "transforms": "unwrap,created_date,modified_date",
        "transforms.unwrap.type": "io.debezium.transforms.UnwrapFromEnvelope",
        "transforms.created_date.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
        "transforms.created_date.target.type": "Timestamp",
        "transforms.created_date.field": "created_date",
        "transforms.modified_date.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
        "transforms.modified_date.target.type": "Timestamp",
        "transforms.modified_date.field": "modified_date",
        "insert.mode": "insert",
        "delete.enabled": "false",
        "pk.fields": "id",
        "pk.mode": "record_value",
        "schema.registry.url": "http://localhost:8081",
        "table.name.format": "ODS.swip.contract"
    }
}

Answer 1

SQL Server连接器-DBZ-1419中缺少一个功能。

您可以通过编写自己的SMT来解决这个问题，在JDBC连接器处理字段之前，在接收器端进行字段转换。