如何在DynamoDB中查询datetime大于X的记录？

Question

我在DynamoDB中有一个表，我需要得到一个记录列表（Java），这些记录是从最后一天开始的。它们都有dateTime属性。

我所指的表的相关属性：customerUrl（string，hashkey）、dateTime（number，range key）和其他一些不相关的属性

我已经尝试过用dateTime的hashkey设置一个全局二级索引，但没有范围键。此索引名为“performanceIndex”。然后，我尝试按如下方式对其进行查询：

Map<String, AttributeValue> eav = new HashMap<>();
eav.put(":val1", new AttributeValue().withN(maximumAgeMillis));
DynamoDBQueryExpression<PingLog> pinglogQuery = new DynamoDBQueryExpression<PingLog>();
pinglogQuery.setKeyConditionExpression("dateTime > :val1");
pinglogQuery.setExpressionAttributeValues(eav);
pinglogQuery.setIndexName("performanceIndex");
pinglogQuery.setConsistentRead(false);
List<PingLog> pinglogs = PostDatabaseMapper.getInstance().query(PingLog.class, pinglogQuery);

但是，查询将永久地继续进行，并且永远不会返回。我在它前后添加了一个println语句，只有第一个语句被实际打印出来。

在这个查询之前，我只是用一个过滤器进行了一次扫描，这很有效，但现在我们有这么多记录（8000万条），所以扫描需要永远的时间。我该怎么办？我需要不同的二级索引吗？我的问题错了吗？

Answer 1

您应该创建一个GSI，其中yyyy-mm-dd作为分区键，hh： mm： ss作为排序键。（这可能需要回填整个表，但如果您经常按日期查询，这将是值得的。）查看一个相关问题的答案，其中有关于这种方法的更多细节。

根据您所使用的数据访问模式的类型，可能会出现复杂情况。它是相当稳定的，还是剧烈的？当前项目的写入吞吐量是否比其他任何一天都要高得多？

如果您正在处理时间序列数据，如物联网传感器读数，此策略可能不适用于您。您的GSI中可能有一个热分区，这可能会在主表中产生反压力，并导致写操作受到限制。这是不可能的，因为DynamoDB的适应能力，但这是可能的。

在这种情况下，您应该考虑MadioDB推荐的处理时间序列数据的最佳实践。它讨论了如何处理随时间推移具有不同访问要求的数据。他们解决方案的要点是为每个时段（天/月/年/任何时间段）创建单独的表，以便来自不同时间段的数据可以具有不同的配置容量。