DynamoDB通过Boto3分页，NextToken不存在，但LastEvalue atedKey是？

Question

boto3和dynamodb分页器的文档指定在分页时应返回NextToken，然后在下一个StartingToken查询中包含该令牌以恢复分页会话（通过RESTful API访问信息时会发生这种情况）。

但是，我的测试表明，它不会在结果中返回NextToken，而是返回LastEvaluatedKey。我想我可以使用LastEvaluatedKey作为令牌，但这不起作用？

paginator = client.get_paginator('scan')
page_iterator = paginator.paginate(TableName='test1', PaginationConfig={'PageSize': 1 , 'MaxItems': 5000,  'MaxSize': 1 })

    for page in page_iterator:
        print(page)
        break   

我希望从page_迭代器返回的page对象包含NextToken键，但它没有？

{'Items': [{'PK': {'S': '99'}, 'SK': {'S': '99'}, 'data': {'S': 'Test Item 99'}}], 'Count': 1, 'ScannedCount': 1, 'LastEvaluatedKey': {'PK': {'S': '99'}, 'SK': {'S': '99'}}, 'ResponseMetadata': {'RequestId': 'DUE559L8KVKVH8H7G0G2JH0LUNVV4KQNSO5AEMVJF66Q9ASUAAJG', 'HTTPStatusCode': 200, 'HTTPHeaders': {'server': 'Server', 'date': 'Mon, 27 May 2019 14:22:09 GMT', 'content-type': 'application/x-amz-json-1.0', 'content-length': '153', 'connection': 'keep-alive', 'x-amzn-requestid': 'DUE559L8KVKVH8H7G0G2JH0LUNVV4KQNSO5AEMVJF66Q9ASUAAJG', 'x-amz-crc32': '3759060959'}, 'RetryAttempts': 0}}

我错过了什么？

更新：与此相关吗？如何使用Boto3分页

Answer 1

有几种方法可以使用boto3扫描分页器解决此问题。

第一个选项是这样调用build_full_result：

result = paginator.paginate(TableName="your_table", PaginationConfig={"MaxItems":10, "PageSize": 10}).build_full_result()

返回包含10项的响应，如果有10项以上，则填充“NextToken”。这可能是最简单的方法，您可以将MaxItems视为返回的页面大小，如果“NextToken”为空，则扫描结束。

我注意到，如果不指定页面大小，结果是相同的，但消耗的容量和“ScannedCount”更高。

另一种方法是直接使用botocore.paginate中的TokenEncoder对StartingToken进行编码。

如果对分页器的初始调用是这样的：

pagination_config = {
    "MaxItems": 5000,
    "PageSize": 10,
}

scan_iterator = scan_paginator.paginate(
    TableName="your_table_name",
    PaginationConfig=pagination_config
)

分页结果将如问题所述。前10个结果将在第一页中返回，未指定“NextToken”，但指定了“LastEvaluatedKey”。

要使用它，请将返回的“LastEvaluatedKey”编码为“ExclusiveStartKey”，并将其作为分页配置中的“StartingToken”传入。

from botocore.paginate import TokenEncoder
encoder = TokenEncoder()
for page in scan_iterator:
    if "LastEvaluatedKey" in page:
            encoded_token = encoder.encode({"ExclusiveStartKey": page["LastEvaluatedKey"]})

然后：

pagination_config = {
    "MaxItems": 500,
    "PageSize": 10,
    "StartingToken": encoded_token
}

将主键编码为ExclusiveStartKey的原因是它是实际扫描API所期望的。本质上，分页器是编码/解码'LastEvalue atedKey'和'ExclusiveStartKey'到'NextToken'和'StartingToken'值。如果您对执行build_full_result时返回的'NextToken'执行Base64解码，您将看到它也使用了'ExclusiveStartKey'。