带GCP Cloudsql postgresql的Debezium

Question

Google最终增加了对Cloudsql、postgresql逻辑复制/解码支持的支持。我正在尝试使用Debezium捕获数据库表上的更改，然后将json中的更改发布到Gcp PubSub。我使用带有Gcp Pubsub接收器的Debezium服务器只是为了验证连接是否工作，但不断得到以下错误消息org.postgreSQL.util.psqlException：错误：无法访问文件“decoderbufs”：没有这样的文件或目录

所以它似乎默认插件为decoderbufs，但是我在环境变量中设置了database.source.plugin.name。根据这个文档https://hub.docker.com/r/debezium/server，我正在使用database_source_plugin_name。这是我的k8s清单的片段

      serviceAccountName: cloudsql-client
      containers:
      - name: debezium-standalone-server-dv
        image: debezium/server:1.6
        env:
          - name: DEBEZIUM_SOURCE_CONNECTOR_CLASS
            value: io.debezium.connector.postgresql.PostgresConnector
          - name: DEBEZIUM_SOURCE_DATABASE_HOSTNAME
            value: localhost
          - name: DEBEZIUM_SOURCE_DATABASE_PORT
            value: "5432"
          - name: DEBEZIUM_SOURCE_DATABASE_USER
            value: cdc
          - name: DEBEZIUM_SOURCE_DATABASE_PASSWORD
            value: cdc
          - name: DEBEZIUM_SOURCE_DATABASE_DBNAME
            value: postgres
          - name: DEBEZIUM_SINK_TYPE
            value: pubsub
          - name: DEBEZIUM_SINK_PUBSUB_PROJECT_ID
            value: myproject
          - name: DEBEZIUM_SOURCE_OFFSET_STORAGE_FILE_FILENAME
            value: data/offsets.dat
          - name: DEBEZIUM_SOURCE_OFFSET_FLUSH_INTERVAL_MS
            value: "0"
          - name: DEBEZIUM_SOURCE_DATABASE_SERVER_NAME
            value: CDC_POC
          - name: DATABASE_SOURCE_PLUGIN_NAME
            value: wal2json

在Cloudsql中，我已经打开了逻辑解码并向用户添加了replication属性，并且可以通过运行select*From pg_create_logical_replication_slot('test_slot','wal2json')来“手动”创建它；还可以通过查询复制槽select*From pg_logical_slot_get_changes('test_slot',NULL,NULL)来查看更改

那么我在这里漏掉了什么？




Answer 1

我猜这是docker配置文档中的一个错误。在我将配置从database_source_plugin_name更改为debezium_source_plugin_name后，它正确地选择了插件