谷歌云平台上Kafka/AWS动觉流的等效值

Question

我正在构建一个应用程序，该应用程序不断附加到缓冲区，而许多阅读器独立地从该缓冲区中消费（写一次读多/WORM）。起初我想使用Apache Kafka，但由于我更喜欢即服务选项，我开始研究AWS Kinesis Streams KCL，似乎我可以用它们完成这项任务。

基本上，我需要两个特性：排序（所有读卡器必须以相同的顺序读取事件）和在缓冲区中选择读卡器开始消费的偏移量的能力。

现在我也在评估谷歌云平台。当我阅读文档时，似乎建议将Google Pub/Sub等同于AWS Kinesis Stream，但在更详细的层面上，这些产品似乎有很大不同：

• Kinesis保证在碎片内订购，而在发布/订阅时则尽最大努力订购

如果我没弄错的话，PubSub不能被视为等同于动觉。如果与Google Dataflow一起使用的话？我必须承认，我仍然不知道怎么做。

那么，PubSub是Kinesis的替代品吗？如果不是，是否有Google Cloud产品可以满足我的要求？

谢谢

Answer 1

发布/订阅现在支持本机订购。至于在消费之前存在订阅（~Kafka中的消费者群体）的要求，这对用户来说很少是一个问题。如果没有其他内容，您可以创建快照，以便将新订阅重置为任何其他现有订阅的状态。

这有点晚了，但是@Renan，如果你还在看的话，很想听听你最终是如何构建系统的。

Answer 2

一个相当复杂的解决方案，但它可能会有帮助：

• 使用发布/订阅将事件推送到单个主题。在这一点上，它们将是无序的

希望这有帮助。