扩展AWS Kinesis流并提高消费端的性能

Question

Kinesis流用于从调用应用程序馈送消息，我们从Kinesis流中获取消息并进行处理。KPL（本地）用于将数据生成（馈送）到Kinesis中，KCL（@AWS EC2）用于消费者端KPL正在以良好的速度生成消息，但由于流转时长问题1，消费者需要更多时间

Answer 1

Kinesis消费者应该能够非常快速地消费数据，就像您正确使用KCL一样。事实上，它会将数据分批转发到消费者流程中。回答您的问题：

1. 确保您对您的消费者使用“推送模式”。这意味着AWS将处理尽可能多的批处理记录，以减少网络IO并允许快速处理。在我的应用程序中，它可以一次批处理700条记录，从而确保快速处理。请参阅此处的链接，了解推/拉模型的详细信息
2. 自动缩放碎片有专门的解决方案（不确定您现在是否可以直接使用kinesis自动缩放），但是您可能希望监控每个碎片的MillsBehindLatest等指标，这将在消费者端进行。然而，这很棘手，因为您需要检查流中的每个碎片。此外，您还需要监控生产方

我的观点很简单，只需提供足够的容量，因为Kinesis能够在即使只有几个分片上处理大量数据，并提供几个实例来处理不同可用性区域中的数据。随着数据随时间的推移进行调整，增加分片/实例。