kinesis客户端工作者逻辑

Question

我想了解何时从worker调用IRecordProcessor的processRecords方法。如果我之前对processRecords的调用尚未完成，那么worker会调用下一个processRecords吗？worker将开始从kinesis获取新记录，还是等待当前记录完成执行。

基本上，如果processRecords在外部db中保存记录时出现异常，我会等待很长时间，因为db关闭或出现其他错误。所以，想确认一下，如果工作人员在较早的处理完成之前不开始提取新记录，就不会有任何问题吗？

Answer 1

其他问题摘录：

该应用程序（在KCL的帮助下）将继续在后台轮询“Shard Iterator”，因此当新数据出现时，您将收到通知。

资料来源：https://stackoverflow.com/a/35582161/1622134

此外，“worker”是指应用程序中的“worker”线程；这是一个可运行的。

每个分片都由一个KCL工作者处理，并且只有一个对应的记录处理器，因此您永远不需要多个实例来处理一个分片。请参阅KCL源代码中的Worker.java类。

资料来源：https://stackoverflow.com/a/34509567/1622134

要回答您的问题，您可以在您的流程记录实现中使用它。在处理记录时，如果且仅当try部分成功时，使用try-catch块并将检查点写入DynamoDB。那样的话；如果在写入外部db时出错，则在重新启动时不会丢失记录。您还应该将这些记录数据（无法插入数据库）保存到其他位置，以便稍后处理。

另请参见以下答案：https://stackoverflow.com/a/32517002/1622134