无法在 debezium 连接器上生成过滤器，并显示错误：“op 不是有效的字段名称”

Question

我创建了一个debezium连接器到docker MySQL容器。我尝试为消息设置过滤器：

    {
        "name": "my_connector",
        "config": {
            "name": "my_connector",
            "connector.class": "io.debezium.connector.mysql.MySqlConnector",
            
            ...
            
            "include.schema.changes": "true",
            "transforms": "filter, unwrap",
            "transforms.unwrap.type": "io.debezium.transforms.ExtractNewRecordState",
            "transforms.unwrap.drop.tombstones": "true",
            "transforms.filter.type": "io.debezium.transforms.Filter",
            "transforms.filter.language": "jsr223.groovy",
            "transforms.filter.condition": "value.source.table == 'table-name' && (value.op == 'd' || value.op == 'c' || (value.op == 'u' && value.after.status != value.before.status))"
        }
    }

在 http://localhost:8070/connectors/my_connector/status 我看到这个：

{ "connector": { "state": "RUNNING "，" worker_id": "172.21.0.13:8083" }，" name": "my_connector "，" tasks": [ { "id": 0，" state": "FAILED "，" trace ":" org . Apache . Kafka . connect . errors . connect异常:错误处理程序中超出了容差\ n \ tat org . Apache . Kafka . connect . runtime . errors . retrywithtoleranceoperator . exechandleerror(retrywithtoleranceoperator .

正如OneCricketeer指出的那样，这里的基本问题是：

原因：javax.script。脚本异常：org.apache.cafka.connect.errors。DataException:op不是有效的字段名\n\t

但我不确定使用它有什么问题，因为它似乎应该是一个有效字段——这里。

Answer 1

经过一些调查，我似乎找到了答案，希望它能帮助别人；

在我的连接器配置中，我有这样的配置：

"include.schema.changes": "true"

这使得我的连接器也包含了关于DB表中模式变化的日志。我有一个迁移器的docker容器，它通过运行一些flyway迁移来启动DB容器，其中一个是上面异常中的< code>DROP TABLE。因为模式更改消息没有理由包含< code>op字段，所以它就是不包含(如这里的示例所示)。当过滤器试图获取字段时，它没有找到它，并抛出一个异常。将配置更改为< code>false解决了该问题。