如何使用复合条件查询DynamoDB GSI

Question

我有一个名为“弗兰克”的DynamoDB表，只有一个GSI。分区键称为PK，排序键称为SK，GSI分区键称为GSI1_PKGSI排序键称为GSI1_SK。我有一个存储实际数据的“数据”映射。

GSI分区键和排序键直接映射到表中具有相同名称的属性。

我可以运行partiql查询来获取图像中显示的结果。以下是PartIQ代码：

select PK, SK, GSI1_PK, GSI1_SK, data from "frank"."GSI1"
where 
("GSI1_PK"='tesla')
and 
(
 (  "GSI1_SK" >= 'A_VISITOR#2021-06-01-00-00-00-000' and  "GSI1_SK" <= 'A_VISITOR#2021-06-20-23-59-59-999' )
 or
 (  "GSI1_SK" >= 'B_INTERACTION#2021-06-01-00-00-00-000'  and   "GSI1_SK" <= 'B_INTERACTION#2021-06-20-23-59-59-999' )
)

注意分区代码是如何多次引用“GSI1_SK”的。分区查询有效，并返回图像中显示的数据。到目前为止一切都很好。

但是，我现在想将其移动到Lambda函数中。如何构建AWS。发电机B。DocumentClient查询是否完全执行此partiql查询的操作？

我可以在Lambda函数中使用此函数：

const visitorStart="A_VISITOR#2021-06-01-00-00-00-000";
        const visitorEnd="A_VISITOR#2021-06-20-23-59-59-999";
        
        var params = {
          TableName: "frank",
          IndexName: "GSI1",
          KeyConditionExpression: "#GSI1_PK=:tmn AND #GSI1_SK BETWEEN :visitorStart AND :visitorEnd",
          ExpressionAttributeNames :{  "#GSI1_PK":"GSI1_PK", "#GSI1_SK":"GSI1_SK" },
          ExpressionAttributeValues: {
            ":tmn": lowerCaseTeamName,
            ":visitorStart": visitorStart,
            ":visitorEnd": visitorEnd
          }
        };
        
        const data = await documentClient.query(params).promise();
        console.log(data); 

但当我尝试一个更复杂的复合条件时，我得到了这个错误：

ValidationException: Invalid operator used in KeyConditionExpression: OR

下面是更复杂的尝试：

const visitorStart="A_VISITOR#2021-06-01-00-00-00-000";
        const visitorEnd="A_VISITOR#2021-06-20-23-59-59-999";
        const interactionStart="B_INTERACTION#2021-06-01-00-00-00-000";
        const interactionEnd="B_INTERACTION#2021-06-20-23-59-59-999";
        
        var params = {
          TableName: "frank",
          IndexName: "GSI1",
          KeyConditionExpression: "#GSI1_PK=:tmn AND (#GSI1_SK BETWEEN :visitorStart AND :visitorEnd OR #GSI1_SK BETWEEN :interactionStart AND :interactionEnd) ",
          ExpressionAttributeNames :{  "#GSI1_PK":"GSI1_PK", "#GSI1_SK":"GSI1_SK" },
          ExpressionAttributeValues: {
            ":tmn": lowerCaseTeamName,
            ":visitorStart": visitorStart,
            ":visitorEnd": visitorEnd,
            ":interactionStart": interactionStart,
            ":interactionEnd": interactionEnd
          }
        };
        
        const data = await documentClient.query(params).promise();
        console.log(data);  

文档说Key条件表达式不支持“OR”。那么，如何使用AWS. DynamoDB. DocumentClient在Lambda中复制更复杂的分区查询？

Answer 1

遗憾的是，DynamoDB不支持KeyConditionExpression中的多个布尔运算。您正在执行的partiql查询可能正在执行全表扫描以返回结果。

如果要使用DocumentClient复制partiql查询，可以使用扫描操作。如果要避免使用扫描，可以执行两个单独的查询操作，并将结果加入到应用程序代码中。

Answer 2

如果您查看DynamoDB的PartiQL的留档，他们会警告您，PartiQL毫无顾忌地使用全表扫描来获取您的数据：https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/ql-reference.select.html#ql-reference.select.syntax

为了确保SELECT语句不会导致全表扫描，WHERE子句条件必须指定分区键。使用equality或IN运算符。

在这些情况下，PartiQL将运行扫描并使用FilterExpression来过滤数据。

当然，在您的示例中，您提供了一个分区键，因此我假设分区QL将使用分区键和FilterExpress运行查询以应用其余条件。

您可以这样复制它，根据分区的大小，这可能会很好。但是，如果分区将超过1MB并且大部分数据将被过滤掉，即使您不会获得任何数据，您也需要处理分页。

因此，我建议您只需将其拆分，并将每个or条件作为单独的查询运行，然后合并客户端上的数据。