如何使用开源kafka connect从Aurora连接MSK
我必须把我的CDC从Aurora mysql db更改为MSK kafka主题。我认为在aws中没有像DMS这样的内置机制，它会将所有CDC从Aurora转移到MSK主题，在他们的文档中，他们没有提到对此的任何支持。
所以我只剩下使用开源的东西了。为了使用它，我有几个问题，请帮助我。
>
Aurora记录将是文本，我需要将记录作为JSON放入MSK，所以我必须使用模式注册表？模式注册表是免费许可证还是开源的还是MSK kafka？
如果我必须从confluent或debezium使用kafka-connect，我需要EC2实例。在这里我需要安装什么？只有Kafka或与Kafka合流，以及德贝齐姆。
请推荐一些免费许可和开源的东西。
共有1个答案
1） 如果您想使用Zookeeper、Apache Kafka brokers和base Kafka Connect之外的融合平台组件（如JDBC连接器插件），请阅读https://www.confluent.io/confluent-community-license-faq/
2） Debezium应该很好用。它在Apache 2.0许可下；您可以使用Apache Kafka，而不是Confluent平台的其余部分
3a）模式注册表只能存储Avro，不能存储JSON。因此你不需要它。3b）模式注册表许可见1
4） 您需要EC2或通过ECS/EKS使用Docker Kafka Connect/Debezium容器。
还有其他选项可以将CDC转换为Kafka，我知道其中一些是开源的，甚至是商业支持的，但是在这里列出它们太宽泛了。
关于内置AWS服务，您可以触发Aurora表上的lambda函数来执行任何您想要的操作
https://aws.amazon.com/blogs/database/capturing-data-changes-in-amazon-aurora-using-aws-lambda/
Lambda有可能/最终会有MSK集成
-
我参考了以下链接来了解Kafka的HDFS连接https://docs.confluent.io/2.0.0/Connect/connect-hdfs/docs/index.html 我能够通过配置单元集成将数据从Kafka导出到HDFS。 现在我正尝试在Java程序的帮助下将avro记录写入Kafka 当我把Avro记录写到Kafka主题时，我在Connect中出现以下错误
-
我试图在我的项目中使用AWS Aurora Serverless for MySQL,但我无法连接到它,尽管我有endpoint、用户名和密码。 我所做的： 从AWS控制台管理中，选择RDS>实例>Aurora>无服务器 保留默认设置 创建数据库 AWS将只创建AWS集群 我打开MySQL工作台，并使用endpoint、用户名、密码连接数据库 结果： 将用户“admin”从主机连接到xxxx.cl
-
我们在Aurora集群中使用MySQL，我们有两个实例--主实例和从实例。我们在c3po连接池上处理spring事务。我们使用的是mariadb jdbc驱动程序（版本2.2.3)。
-
我正在使用Maria JDBC驱动程序创建连接到Amazon Aurora DB我想创建一个安全的连接，所以我在这里阅读 使用MySQL实用程序通过SSL连接到DB群集 从https://s3.amazonaws.com/rds-downloads/rds-combined-ca-bundle.pem.下载Amazon RDS签名证书的公钥请注意，这将下载名为rds-combined-ca-bun
-
我试图使用开源的apache kafka运行Kafka连接器(不是使用confluent) 这很好，但这种方式只启动Kafka连接工作程序，我如何加载社区连接器？ 我尝试了上面的两个命令，都没有给出错误，但无法加载连接器模块。另一个问题，我键入什么命令来检查连接器的状态？
-
如何从A使用r2dbc连接到Oracle DBpplication.yml? 这不会初始化DB配置。 覆盖也不起作用。配置 在生成中添加了这些依赖项。格拉德尔 这也不会创建与R2dbc的连接。 r2dbc spi即使在springframework中隐式存在，也会被添加。数据不采用导致属性丢失错误的最新版本。