Boto3 DynamoDb查询与选择计数没有分页

Question

这更像是一个概念澄清。我可以使用Boto3通过使用上一个响应的LastEvaluatedKey重复查询找到实际计数。

我想计算符合dynamoDb中特定条件的项目。我使用的是“select=count”，根据文档[1]，它应该只返回匹配项的计数，并且我假设响应不会分页。

计数-返回匹配项的数量，而不是匹配项本身。

当我通过AWS-cli尝试时，我的假设似乎是正确的（就像文档[1]中的其他api样本一样）

    aws dynamodb query \
    --table-name 'my-table' \
    --index-name 'classification-date-index' \
    --key-condition-expression 'classification = :col AND #dt BETWEEN :start AND :end' \
    --expression-attribute-values '{":col" : {"S":"INTERNAL"}, ":start" : {"S": "2020-04-10"}, ":end" : {"S": "2020-04-25"}}' \
    --expression-attribute-names '{"#dt" : "date"}' \
    --select 'COUNT'
 {
      "Count": 18817,
      "ScannedCount": 18817,
      "ConsumedCapacity": null
  }

但是当我尝试使用Python3和Boto3时，响应被分页，我必须重复查询，直到LastEvaluatedKey为空。

In [22]: table.query(IndexName='classification-date-index', Select='COUNT', KeyConditionExpression= Key('classification').eq('INTERNAL') & Key('date').between('2020-04-10', '2020-04-25'))

Out[22]:
{'Count': 5667,
 'ScannedCount': 5667,
 'LastEvaluatedKey': {'classification': 'INTERNAL',
  'date': '2020-04-14',
  's3Path': '<redacted>'},
 'ResponseMetadata': {'RequestId': 'TH3ILO0P47QB7GAU9M3M98BKJVVV4KQNSO5AEMVJF66Q9ASUAAJG',
  'HTTPStatusCode': 200,
  'HTTPHeaders': {'server': 'Server',
   'date': 'Sat, 25 Apr 2020 13:32:36 GMT',
   'content-type': 'application/x-amz-json-1.0',
   'content-length': '230',
   'connection': 'keep-alive',
   'x-amzn-requestid': 'TH3ILO0P47QB7GAU9M3M98BKJVVV4KQNSO5AEMVJF66Q9ASUAAJG',
   'x-amz-crc32': '133035383'},
  'RetryAttempts': 0}}

我期望boto3sdk会有与awscli一样的行为，因为响应似乎小于1mb。这些文件有点冲突。。。

“分页表查询结果”[2]页面显示：

DynamoDB对查询操作的结果进行分页。通过分页，查询结果被划分为大小为1MB（或更小）的数据“页面”。应用程序可以处理结果的第一页，然后是第二页，依此类推。单个查询仅返回符合1 MB大小限制的结果集。

而查询[1]页面显示：

单个查询操作将最多读取设置的最大项数（如果使用Limit参数）或最多1 MB的数据，然后使用FilterExpression对结果应用任何筛选。

[1]https://docs.aws.amazon.com/amazondynamodb/latest/APIReference/API_Query.html

[2] https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/Query.Pagination.html

Answer 1

我自己就写了这个问题。AWS CLI对DynamoDB查询中的页面进行自动求和。要阻止它这样做，请将--no paginate添加到此页面上列出的命令中