kinesis数据流消费者的高可用性

Question

我想制作下面的数据发送架构。

生产商--

消费者服务器可以关闭，因此我认为应该至少有两个消费者。是这样吗？

当一个数据流有两个使用者时，是否有任何方法可以处理每个使用者一半的数据？正如我所知，这是不可能的。如果每个消费者都使用相同的数据，那就是浪费时间和成本。因为我只为高可用性提供了两个消费者。（用于故障切换）

在web was体系结构中，ELB或L4可以通过负载平衡将一半数据发送到每个was服务器。

我想知道运动数据流的类似方式。

Answer 1

当一个数据流有两个使用者时，是否有任何方法可以处理每个使用者一半的数据？正如我所知，这是不可能的。

你错了。

您应该阅读《Kinesis开发人员指南》或更具体的内容https://docs.aws.amazon.com/streams/latest/dev/kinesis-record-processor-scaling.html.

动觉流由1个或多个碎片组成。每个碎片都可以独立处理。

引用上述链接中的示例，

以下示例说明了KCL如何帮助您处理缩放和重新硬化：

例如，如果您的应用程序在一个EC2实例上运行，并且正在处理一个包含四个碎片的Kinesis数据流。这个实例有一个KCL工作进程和四个记录处理器（每个碎片一个记录处理器）。这四个记录处理器在同一进程中并行运行。

接下来，如果您缩放应用程序以使用另一个实例，那么将有两个实例处理一个具有四个碎片的流。当KCL worker在第二个实例上启动时，它会与第一个实例进行负载平衡，因此每个实例现在处理两个碎片。

如果你决定把四个碎片分成五个碎片。KCL再次跨实例协调处理：一个实例处理三个碎片，另一个实例处理两个碎片。合并碎片时会发生类似的协调。

您只需确保两个Kinesis消费者应用程序（在不同的机器上运行）都配置了相同的应用程序名称。KCL将应用程序名称、碎片检查点作为Dynamo DB表进行跟踪。此dynamo db表还用于定义使用者应用程序之间的碎片所有权。

因此，如果您有一个包含4个碎片和两个在不同机器上运行的消费者应用程序的运动流。然后按以下方式进行碎片平衡。

----Shard1---> application-instance-1
----Shard2---> application-instance-1
----Shard3---> application-instance-2
----Shard4---> application-instance-2

假设application-instance-1出现故障。然后，application-instance-2将开始处理所有碎片。

----Shard1---> application-instance-2
----Shard2---> application-instance-2
----Shard3---> application-instance-2
----Shard4---> application-instance-2