如何将运动流中的碎片分配给运动消费者的多个实例？

Question

我有一个带有20个碎片的动觉流的设置，该碎片由基于KCL的动觉消费者消费。消费者部署在ECS中，有20个实例。（指多个KCL实例？）

我相信在这种情况下会发生的是：

• 每个实例将为每个分片创建20个工作线程，相互独立。
• 所以在任何给定的时间，一个分片都会有20个独立的线程连接到它
• 每个实例都会处理相同的记录集（即：不会跨实例处理重复的记录处理）
• 这也将超过每个分片的消费者速率限制。（每秒5笔交易）
• 运行我的消费者的单个实例就足够了。换句话说，跨多个实例扩展消费者根本没有任何好处。

这个答案似乎表明“分片租约”将确保它只由单个实例处理。但是，这里的第二个答案说“KCL实例每个分片只会启动一个进程，但是您可以让另一个KCL实例使用相同的流（和分片），假设第二个具有权限。”。

此外，这个留档建议“将实例数量增加到打开分片的最大数量”作为一种可能的扩展方法，这与上述一些观点相矛盾。

在这种情况下，消费者实例实际上是如何工作的？

Answer 1

在您描述的场景中会发生的情况是，20个工作人员中的每一个最终只会处理1个分片。

在启动时，每个工作人员都会试图通过为这些碎片创建租约来声明尽可能多的碎片。当所有20名员工同时开始工作时，他们都会尝试为20个碎片创建租约，但这不会对所有人都成功。一个工人可能会得到5块碎片，而另一个工人可能会得到2块或3块碎片。不过，经过几次租用迭代后，每个工作人员应该只有1个碎片。这样，AWS费率限制就得到了遵守。

当这种平衡过程发生时，两个工人可能会在短时间内处理相同的记录两次。这发生在一个工作人员从另一个工作人员处窃取租约和该工作人员尝试更新租约以及通过定期刷新或检查点发现另一个工作人员已获取租约之间。

不过，在最初的租赁划分之后，这种情况将不再发生。当工人重新开始工作时，他们会恢复以前的租约。但当一名工人长期失业时，其他工人将接管其租约。

因此，动觉有一个至少一次的处理模型。最好设计应用程序，使对数据的操作是幂等的。

如果您想要容错（其他工作人员将接替失败的工作人员），或者您的数据处理非常耗时，以至于一个工作人员无法处理20个碎片，那么缩放非常有用。超出碎片数量的扩展实际上只对容错目的有用。