AWS Dynamodb扫描订购？

Question

我们有一个设置，其中各种工作节点执行计算并更新DynamoDB表中的相对状态。该表充当工作节点活动的一种历史记录。看门狗节点需要定期扫描表，并构建一个表示工作节点及其作业的当前状态的对象。因此，我们的应用程序能够扫描表并按时间顺序检索数据（即按时间戳排序）是很重要的。表最终会太大，无法扫描到本地内存进行后期排序，所以我们扫描后无法排序。

从AWS留档读取主键：

DynamoDB使用分区键值作为内部哈希函数的输入。散列函数的输出确定存储项的分区（DynamoDB内部的物理存储）。具有相同分区键的所有项都存储在一起，按排序键值排序。

关于扫描函数的文档似乎没有提到任何关于返回结果顺序的内容。但是上面引用的最后一部分（我用粗体强调的部分）可以解释为扫描的结果是按排序键排序的吗？如果我将所有分区键设置为相同的值，比如“0”，然后使用我的时间戳作为排序键，我可以保证扫描操作将按时间顺序返回数据吗？

请注意：

• 所有代码都是用Python编写的，因此我使用boto3模块来执行扫描操作。
• 我们的系统架构师坚决反对更新表中的任何条目以反映其当前状态，或者在作业完成时删除条目。我们只能添加到表中，因此我们需要每次扫描整个内容以确定工作状态。
• 我在扫描操作中使用强大的读取一致性。

Answer 1

您最好使用yyyy-mm-dd作为分区键，而不是全部0。每个分区的数据限制为10GB，这也意味着每个分区键值的数据不能超过10GB。

如果您希望能够检索按日期排序的数据，请采用ISO 8601时间戳格式（大致为yyyy-mm-ddThh-mm-ss.sss），将其分割到对您的数据合理的地方，并使用第一部分作为分区键第二部分作为排序键。（这种方法的另一个优点是，您可以对大多数查询使用最终一致的读取，因为假设一天（或一个小时）后数据完全复制是非常安全的。）

如果您可以管理它，那么最好使用Worker ID或Job ID作为分区键，然后使用完整的时间戳作为排序键。

正如@thomasmichaelwallace所提到的，最好使用带有Lambda的DynamoDB流来创建物化视图。

这就是说，如果你正在处理工作在工人上运行，那么你也应该考虑是否可以通过使用工作流服务而不是数据库来实现你的目标。工作流将为您维护作业历史记录和/或当前状态。AWS提供Step功能和简单的工作流程。

Answer 2

从技术上讲，SCAN从不保证顺序（尽管作为观察，缺乏顺序保证似乎意味着分区是随机排序的，但排序仍然是排序的。）

但是，您提出的方法会起作用，但是您将对分区键==0进行查询，而不是进行扫描，然后将返回分区键为0、按排序键排序的所有项目（最多限制和可选的向前/向后排序）。

这就是说，这真的不是迪纳摩希望你使用它的方式。例如，它保证您的分区将热运行（因为您已显式地将所有内容都放在同一分区上），并且此操作将消耗您读取表中每个项目的容量。

我建议研究一些模式，比如使用lambda处理的dynamodb流来构建和维护这个“当前状态”的具体化视图，而不是使用这种昂贵的扫描和糟糕的键设计来“轮询”表。