亚马逊Kinesis vs AWS管理服务Kafka(MSK)-（从on-prem连接）

Question

我正在评估AWS Kinesis vs托管服务Kafka(MSK)。我们的需求是从on-prem系统（使用C++进行系统开发）向AWS发送一些消息(JSON)。然后，我们需要将上面的消息持久化到关系数据库中，比如PostgreSQL中，同时我们需要将上面的数据流到AWS中托管的其他一些微服务（java）中。

我有以下查询：

v）我们的消息速率是50msg/秒，什么是成本效益的解决方案？

Answer 1

直截了当地说，您的用例听起来很简单，每秒50条消息是一个非常低的速率。

Kinesis是一个消防水管，你需要吸管。Kinesis是指摄取、转换和处理太字节的移动数据。]

您是否考虑过使用SQS或Amazon MQ？两者都比Kafka或Kinesis更容易使用和管理。从你的问题来看，很明显你根本没有和Kafka交流过，所以你会有一个陡峭的学习曲线。SQS是一个简单的基于API的队列系统-您发布到一个SQS队列，然后从该队列中消费。如果您不需要担心订购、路由等问题，它是一种持久可靠的技术（如果笨拙的话），许多人使用它取得了巨大的成功。

回答你的实际问题：

>

亚马逊为他们的服务发布了一个C++SDK--如果没有Kinesis客户端作为其中的一部分，我会感到震惊。您要么需要一个公共的Kinesisendpoint，要么需要一个私人的Kinesisendpoint，可以通过您的on-prem网络和AWS VPC之间的某种隧道或网关访问。

MSK是Kafka。您需要一个Apache Kafka C++客户端，与上面的kinesis类似，您将需要某种隧道或网关，从您的on-prem网络到您已经提供MSK的AWS vpc

前面提到的SQS或Amazon MQ可能比MSK更简单、更划算，而且几乎肯定会比Kinesis便宜。