将融合模式注册表与 MSK 结合使用

Question

有可能将融合模式注册与AWS MSK集成吗？如果你以前这样做过，你能提供一些你实现它的方法/博客吗？

Answer 1

这是可能的，与常规的Kafka安装一起使用没有什么不同。

您将它的引导服务器属性指向MSK，并将客户端应用程序指向它。

Answer 2

这是可能的。我的设置使用 ec2 和泊坞窗。

1. 如果您正在使用基于IAM的身份验证，请下载IAM身份验证jar

mkdir -p /usr/share/java/aws
wget -P /usr/share/java/aws https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.1/aws-msk-iam-auth-1.1.1-all.jar
chmod -R 444 /usr/share/java/aws

...

  schema-registry:
    image: confluentinc/cp-schema-registry:5.4.6-1-ubi8
    hostname: schema-registry
    container_name: schema-registry
    ports:
      - "8081:8081"
    volumes:
      - /usr/share/java/aws/aws-msk-iam-auth-1.1.1-all.jar:/usr/share/java/cp-base-new/aws-msk-iam-auth-1.1.1-all.jar
      - /usr/share/java/aws/aws-msk-iam-auth-1.1.1-all.jar:/usr/share/java/rest-utils/aws-msk-iam-auth-1.1.1-all.jar
    environment: # https://docs.confluent.io/platform/current/schema-registry/installation/config.html#schemaregistry-config
      SCHEMA_REGISTRY_LISTENERS: http://0.0.0.0:8081
      SCHEMA_REGISTRY_HOST_NAME: "${HOSTNAME}" # 
      SCHEMA_REGISTRY_KAFKASTORE_BOOTSTRAP_SERVERS: "${BOOTSTRAP_BROKERS_SASL_IAM}"
      SCHEMA_REGISTRY_KAFKASTORE_SECURITY_PROTOCOL: "SASL_SSL"
      SCHEMA_REGISTRY_KAFKASTORE_SASL_MECHANISM: "AWS_MSK_IAM"
      SCHEMA_REGISTRY_KAFKASTORE_SASL_JAAS_CONFIG: "software.amazon.msk.auth.iam.IAMLoginModule required awsDebugCreds=true;"
      SCHEMA_REGISTRY_KAFKASTORE_SASL_CLIENT_CALLBACK_HANDLER_CLASS: "software.amazon.msk.auth.iam.IAMClientCallbackHandler"

...

• 主机名是您的 ec2 计算机 DNS 名称或 IP，例如 ip-10-0-0-84.ec2.内部
• BOOTSTRAP_BROKERS_SASL_IAM是逗号分隔的主机 1：端口，主机 2：端口网址。有关端口信息，请参阅此处

如果您使用明文或SSL auth，最后4个环境变量会改变。你不需要下载iam auth jar

...
key.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schemas.enable=true
value.converter.schema.registry.url=http://ip-10-0-0-84.ec2.internal:8081
value.converter.enhanced.avro.schema.support=true

就是这样。
在 MSK 集群的 EC2 实例安全组中打开 8081 端口

资源：

< Li > https://github . com/maikel penz/Kafka-AWS-deployment < Li > https://maikel penz . medium . com/building-a-Kafka-playground-on-AWS-part-3-streaming-database-events-and-query-with-ksql-5f 23978 a 0080

我尝试过的替代选项是AWS胶水模式注册表，但我们不得不使用KSQL，KSQL没有第三方模式注册表集成或自定义SerDe Github问题