DynamoDb：如何检索每个给定分区键列表的第一项（按排序键）

Question

我有一个dynamodb表，用于存储在我的服务器上运行的进程的历史运行数据，我需要一个可以聚合这些进程并查看每个进程的最新数据的位置。每个进程都有自己的ProcessId，它是dynamodb表的分区键。排序键是开始时间

{
  ProcessId, // Partition Key
  StartDateTime, // Sort Key
  ... // More data
}

本质上，我需要为我提供的每个ProcessId检索最新的StartDateTime。我在aws sdk中使用nodejs lambda来检索数据。我已经研究过使用BatchGetItem，但我的理解是，对于具有分区键和排序键的表，您需要提供这两个键来检索项。我还研究了使用查询，但我需要为每个不理想的分区运行单独的查询。有人知道我可以在一次调用中发出此请求，而不必在每个分区中单独调用吗？

Answer 1

您似乎正在尝试某种聚合，DynamoDB通常不适合聚合，但更适合CRUD风格的操作。

与其运行昂贵的查询或扫描，不如尝试在表上启用DynamoDB流，并使用另一个lambda在另一个DynamoDB表中以processId作为分区键“upsert”开始时间。

然后，您可以在此新表上的Process Id上运行查询最新开始时间。

Answer 2

为了总结我从您的帖子中了解到的内容，您的表格中可能有如下数据：

PK (id)         SK (timestamp)    Other data
process1        1                 ...
process2        4                 ...
process1        8                 ...
process3        18                ...
process2        25                ...

您需要轻松检索：

process1        8                 ...
process2        25                ...
process3        18                ...

正如sandboxbohimian所说，我建议您使用一个流来在每次新输入到达时触发lambda函数。但是，我会使用相同的表并向上插入具有相同id和时间戳等于0的项目。此外，我添加了一个二进制属性“最新”，始终设置为“True”，并为当前时间戳添加了一个数字属性。按时间顺序排列，条目将是：

PK (id)         SK (timestamp)    Other data      timestamp2(GSI SK)  latest (GSI PK)
process1        1                 ...                      
process1        0                 ...             1                   true
process2        4                 ...                      
process2        0                 ...             4                   true
process1        8                 ...                      
process1        0                 ...             8        
process3        18                ...                      
process3        0                 ...             18                  true       
process2        25                ...                      
process2        0                 ...             25                  true       

然后您必须创建一个GSI，PK等于“latest”，SK等于“timestamp”，项目的“id”和“data”属性。这将是一个稀疏索引，意味着只有填写了最新属性的项才会出现。以下是内容：

latest (GSI PK) timestamp2 (GSI SK)   id        timestamp   Data
true            8                     process1  0           ...
true            25                    process2  0           ...    
true            18                    process3  0           ...   

正如您所看到的，PK始终具有相同的值。因此，它允许执行查询或扫描。如果需要所有最后一个过程，可以进行扫描。如果进程数非常多，可以使用latest=True进行查询，并利用有关timestam2的排序功能。

我同意这个模式不是直观的，但这种情况经常发生在Dynamodb上