动觉流阅读器的状态

Question

我如何知道阅读器已经处理了Kinesis流中数据的百分比？我知道每个阅读器都有一个每个分片的检查点序列号，我也可以从描述流中获取每个分片的StartingSequence Number，但是，我不知道阅读器当前在我的数据中的进度（我不知道分片的最新序列号）。

我想为每个碎片获取一个最新的迭代器，并获取最后一条记录的序列号，然而，如果在获得最新迭代器后没有新数据，那么这似乎不起作用。

有什么想法或工具可以做到这一点吗？

谢谢！

Answer 1

如果您使用KCL，您可以通过将cloudwatch内置的Kinesis指标中的IncomingRecords与KCL发布的自定义指标RecordsProcessed进行比较来实现这一点。

然后选择一个时间范围和间隔，例如1天。

然后会得到以下类型的图：

如您所见，添加的记录比处理的记录多得多。通过查看每个点的值，您将确切地知道您的处理器是否落后。

Answer 2

我建议您在应用程序中实施一个或多个自定义指标来跟踪这一点。

例如，您可以在Kinesis消息中附加消息发送时间，并在处理消息时，将时差记录为AWS CloudWatch自定义指标。这将表明您的消费者离流的前端有多近。

您还可以记录（在推送应用程序上）推送的消息数和在Kinesis消费者上接收的消息数。如果在CloudWatch上的图表中进行比较，您可以看到这些曲线大致彼此跟随，表明消费者在跟上工作量方面做得很好。

您还可以尝试监视您的Kinesis消费者，查看其空闲等待记录的频率（即，Kinesis没有返回结果，表明它位于流的前端，并且所有记录都已处理）

另请注意，由于Kinesis消息会在24小时后过期（因此消息总数会不断滚动），因此无法跟踪流中处理的“百分比”。也没有直接（API）函数来计算流中的消息数量（除非您如上所述记录了这一点）。