如果Lambda跟不上，DynamoDB流项目会过期吗？

Question

我们已经配置了DynamoDB流来触发Lambda函数。超过1000万条独特记录将在30分钟内插入DynamoDB表，Lambda将在通过流触发时处理这些记录。

根据DynamoDB Streams留档，流将在24小时后过期。

问题：

这是否意味着Lambda函数（多个并发执行）应在24小时内完成对所有1000万条记录的处理？

如果某些流事件在24小时后仍未处理，它们会丢失吗？

Answer 1

只要你不节流lambda，它就不会“跟不上”。

将发生的是，流将根据您的设置进行批处理-因此，如果您在dynamo流中同时设置5个事件，它将捆绑5个事件并将它们推向lambda。

即使这种情况每分钟发生数百次，Lambda也会（再次假设您没有故意限制Lambda执行）启动额外的并发执行来处理负载。

这是AWS的标准理念。几乎每一个无服务器资源（甚至有些没有，比如带有Elastics Beanstalk的EC2）都被设计成无缝、轻松地横向扩展以处理突发流量。

您的Lambda执行可能会在发送最后一个事件后的几分钟内完成。“24小时暂停”反对等待lambda完成/重新激活（即：您可以设置云观察事件以“持有”Dynamo Streams，直到一天中的某些时间，然后处理所有内容，例如等到下班时间让所有流处理，然后在第二天的工作时间再次关闭）

给你们一个类似的例子——我在一个lambda中通过一个SQS运行了10000次执行。它在大约15分钟内完成了10000次处决。Lambda并发旨在处理这种突发流。

然而，您的Dynamo读/写能力将受到冲击，因此请确保将其设置为至少动态且未配置。

更新

正如@Maurice在评论中指出的那样，使用Dynamo发送的并发批次有一个流限制。计算表明，即使lambda执行时间很短，它也会远远落后——lambda越长，完成的可能性就越小。

这意味着，如果您不必尽可能快地处理所有这些，您应该分配输入。

您可以在流程中的某个地方添加AWS SQS队列。很有可能，因为即使使用最大的批处理大小和超快速的流程，您也无法在插入发电机之前完成所有它们。

SQS对其最多14天的消息有限制。这可能足够做你想做的事了。如果您可以控制传入的消息，则可以将它们插入到sqs队列中，并附加等待，以便一次处理少量插入-这可以在一天内完成，也可以稍微少一点。应该是这样的

lambda to collate your inserts into an SQS queue -> SQS with a wait/smaller batch size -> Lambda to insert smaller batches into dynamo -> Dynamo Stream -> Processing Lambda

另一种选择是做一些类似的事情，但使用具有等待时间和映射的状态机。状态机有一个1年的运行时间限制，所以你有足够的时间使用它。

最后一个选项是，不是直接将数据流式传输到lambda中，而是执行lambda以立即查询发电机的较小部分以进行处理