Kinesis客户端库记录处理器故障

Question

根据AWS文件：

worker使用Java ExecutorService任务调用记录处理器方法。如果任务失败，工作进程将保留对记录处理器正在处理的碎片的控制。工作进程启动一个新的记录处理器任务来处理该碎片。有关详细信息，请参阅阅读节流。

根据AWS文件的另一页：

Kinesis客户端库（KCL）依靠您的进程记录代码来处理处理数据记录时出现的任何异常。从进程记录抛出的任何异常都被KCL吸收。为了避免对重复出现的故障进行无限重试，KCL不会重新发送在异常时处理的一批记录。然后，KCL会调用进程记录以获取下一批数据记录，而无需重新启动记录处理器。这有效地导致消费者应用程序观察跳过的记录。为了防止跳过的记录，请适当处理进程记录中的所有异常。

这两种说法不矛盾吗？一个说记录处理器重新启动，另一个说碎片被跳过。当一个记录处理器出现故障时，KCL究竟做什么？KCL员工如何知道记录处理器是否出现故障？

Answer 1

根据我编写、调试和支持基于KCL的应用程序的经验，第二条语句对于描述应该如何考虑错误处理更为清晰/准确/有用。

首先，一点背景知识：

• KCL记录处理设计为从多个主机运行。假设您有3台主机和12个碎片要处理-每个主机运行一个工作进程，并且将拥有4个碎片的处理

第一条语句试图（不太清楚）说明当KCL任务失败时，该工作人员实例将保持对其处理的分片的控制（而不是将它们转移给另一个工作人员）。