AWS Lambda并行执行如何与DynamoDB一起工作？

Question

我读过这篇文章，它说数据记录被组织成称为碎片的组，这些碎片可以被Lambda函数并行地消费和处理。我还从AWS webindar中找到了这些幻灯片，在幻灯片22中，您还可以看到Lambda函数并行使用不同的碎片。但是，我无法实现单个函数的并行执行。我创建了一个运行一分钟的简单lambda函数。然后，我开始在DynamoDB中创建大量的项目，希望获得大量的流记录。尽管如此，我的功能还是一个接一个地启动了。

我做错了什么？

Answer 1

前上下文：

DaynamoDB如何存储数据？

DynamoDB使用分区来存储表记录。这些分区是从用户中抽象出来的，由DynamoDB团队管理。随着表中数据的增长，这些分区在内部被进一步划分。

这些发电机流是怎么回事？

DynamoDB作为一个数据库，为用户提供了一种检索有序更改日志的方法（将其视为传统数据库的跨国重放日志）。这些是作为Dynamo table streams出售的。

数据如何在流中发布？

Stream有一个分片的概念（有点类似于分区）。按定义，碎片包含有序的事件。使用发电机术语，流分片将包含来自某个分区的数据。

凉的那个么，若表中的数据增长或频繁写入，会发生什么情况呢？

Dynamo将基于HashKey/SortKey在其相关分区中保持记录，直到超过阈值（如表大小和/或RCU/WCU计数）。dynamoDB没有向我们提供这些阈值的确切值，尽管我们有一些关于粗略估计的文档。

当这个阈值被突破时，发电机会拆分分区，并重新进行哈希处理，以（在一定程度上）均匀地分布整个分区的数据。

由于新分区已经到达，这些数据将发布到它自己的分片（映射到它的分区）

很好那Lambda呢？那么并行处理是如何工作的。

一个lambda函数进程记录一个且仅一个碎片。因此，dynamo流中存在的碎片数量将决定并行运行lambda函数的数量。

你可以模糊地想象，分区的碎片=并行lambda运行的碎片。

Answer 2

第一篇文章说：

因为碎片有一个谱系（父碎片和子碎片），所以应用程序必须在处理子碎片之前始终处理父碎片。这将确保流记录也以正确的顺序进行处理。

然而，例如，当使用kinisis流时，您可以通过使用多个分片来实现并行性，因为只有在一个分片中才能保证记录的处理顺序。

附带说明，按顺序触发lambda和Dynamodb事件是有意义的。