Kinesis consumer getRecords不一致地返回10000条记录

Question

我有一个动觉流（20个片段），大约有1天的数据延迟，这是由基于KCL的动觉消费者消费的。消费者部署了20个ECS实例，因此每个实例都有一个从每个shard提取数据的线程。

根据文档，看起来一个getRecords调用最多可以获取10000条记录，或者最大负载大小为10 MB。然而，当我监视消费者日志时，并不是所有的碎片都达到了这个限制。使用单个getRecords调用获取的记录在消费者实例中非常不一致。有些调用获取大约100-400条记录，而有些调用获取大约4000-5000条记录。在极少数情况下，一些调用会获取9999条记录。因此，数据延迟没有得到减少。

消费者大约需要5分钟来处理10000条记录，因此也无法达到读取吞吐量。

是否有对此的解释或我可以研究的指标，以进一步调试此问题？

Answer 1

我不熟悉您的特定应用程序，因此可能与此无关，但KDS增强型扇形分叉可能会有帮助：

https://docs.aws.amazon.com/streams/latest/dev/enhanced-consumers.html

您可能还想考虑延长保留期。

请注意，这两项建议均需支付额外费用。

Answer 2

根据您的记录大小，这可能是因为以下Kinesis服务限制：

通过GetRecords，每个碎片最多可支持每秒2 MB的最大总数据读取速率。如果对GetRecords的调用返回10 MB，则在接下来的5秒内进行的后续调用会引发异常。

如果这确实是您遇到的限制，那么您可能需要考虑添加更多碎片。