如何推荐AWS MSK和合流模式注册表和合流Kafka连接一起使用？

Question

我们计划使用AWS MSK服务来管理Kafka和Schema注册表和Confluent的Kafka Connect服务来运行我们的连接器（Elasticsearch Sink Connector）。我们计划在EC2中运行模式、注册表和连接器。

根据Confluent团队的说法，如果我们对Kafka使用MSK，他们无法正式支持Confluent模式注册表和Kafka Connect。

那么，任何人都可以分享他们的经验？比如，如果有哪个Buddy在生产环境中使用了MSK和Confluent服务的组合？

使用这种组合有风险吗？

请提前分享您的想法和感谢。

谢谢

Answer 1

客观地回答你的问题，这是可行的，但这取决于你的主要痛苦在哪里。

从许可的角度来看，没有什么可以强迫您仅仅为了使用Kafka Connect或Schema Registry而使用Confluent订阅，因为它们分别基于Apache License 2.0和Confluent Community License。

从技术角度来看，您可以在EC2上运行Kafka Connect和Schema Registry；只要它们运行在MSK集群的同一个VPC中，它们就可以完美无缺地工作。

从成本的角度来看，您必须评估由您和/或您的团队管理Kafka Connect和Schema Registry的成本。不仅要考虑安装和设置阶段，还要考虑管理和发展阶段。软件可能没有任何成本，但操作这些组件的努力可以转化为成本。

如果我们将面临连接器的任何问题，合流社区支持如何？

无论您是在Apache Kafkahtml" target="_blank">用户组还是在Confluent在Slack中拥有的社区中寻求帮助，Kafka社区通常都非常有帮助。当然，这一切都是最大的努力，你不能依赖他们来获得支持。可能需要几天时间，直到某个好心人决定帮助你。这也转化为成本：有多少成本正在下降和/或等待解决方案？

我不再是合流的员工，因此我甚至不会试图说服你从他们那里购买。但是您应该评估成本的这个组成部分，并检查使用Confluent Cloud是否不能为您提供更具成本效益的解决方案，因为它包含Kafka、Kafka Connect和Schema Registry的托管版本。根据我的经验，Confluent Cloud上的managed Kafka成本并不高，而且managed Schema Registry是“免费的”，但是使用managed connector成本可能非常高，而且根据在managed connector中配置的任务数量，成本可能会更高。这是你唯一应该提防的陷阱。