创建Kafka连接器时，我们可以在Postman中使用系统环境变量吗

Question

我们已经在库伯内特斯中部署了自定义合流Kafka连接器作为状态集，它从Azure KeyVault挂载机密。这些机密包含db用户名和密码

机密作为环境变量被加载到容器中。基于< code > kubernetes-ingress-controller 路径的路由用于暴露restendpoint。

到目前为止，我们的团队在通过 Postman 创建连接器时无法使用环境变量。

连接器配置：

{
 "name": "TEST.CONNECTOR.SINK",
    "config": {
        
    "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
    "errors.log.include.messages": "true",
    "table.name.format": "AuditTransaction",
    "connection.password": "iampassword",             <------------ (1)
    "flush.size": "3",
    "tasks.max": "1",
    "topics": "TEST.CONNECTOR.SOURCE-AuditTransaction",
    "key.converter.schemas.enable": "false",
    "connection.user": "iamuser",                     <------------ (2)
    "value.converter.schemas.enable": "true",
    "name": "TEST.CONNECTOR.SINK",
    "errors.tolerance": "all",
    "connection.url": "jdbc:sqlserver://testdb.database.windows.net:1433;databaseName=mytestdb01",
    "value.converter": "org.apache.kafka.connect.json.JsonConverter",
    "insert.mode": "insert",
    "errors.log.enable": "true",
    "key.converter": "org.apache.kafka.connect.json.JsonConverter"
}  
}

（1） 和 （2） - 这里我们想使用带有值的系统环境变量 - $my_db_username=iamuser， $my_db_password=iampassword。 我们尝试在那里使用“$my_db_username”和“$my_db_password”，但在连接器 Pod 的日志中，它没有解析为各自的值。

日志：

[2020-07-28 12:31:22,838] INFO Starting JDBC Sink task (io.confluent.connect.jdbc.sink.JdbcSinkTask:44)
[2020-07-28 12:31:22,839] INFO JdbcSinkConfig values: 
    auto.create = false
    auto.evolve = false
    batch.size = 3000
    connection.password = [hidden]
    connection.url = jdbc:sqlserver://testdb.database.windows.net:1433;databaseName=mytestdb01
    connection.user = $my_db_username
    db.timezone = UTC
    delete.enabled = false
    dialect.name = 
    fields.whitelist = []
    insert.mode = insert
    max.retries = 10
    pk.fields = []
    pk.mode = none
    quote.sql.identifiers = ALWAYS
    retry.backoff.ms = 3000
    table.name.format = AuditTransaction

有没有办法在这个配置中使用系统/容器环境变量，同时使用Postman或其他东西创建连接器？

Answer 1

终于做到了！！使用FileConfi提供者。所有需要的信息都在这里。

我们只需根据我们的要求对< code > connect-secrets . properties 进行参数化，并在启动时替换env vars值。

这不允许通过Postman使用环境变量。但是根据我们的需要专门调整的参数化的< code > connect-secrets . properties 完成了这项工作，而< code>FileConfigProvider通过从< code > connect-secrets . properties 中选取值来完成其余的工作

在这里找到了使用env变量实现这一点的方法。