用boto3完成发电机B的扫描

Question

我的表大约是220mb，里面有250k记录。我试图将所有这些数据拉入Python。我意识到这需要一个大块的批处理过程，并循环通过，但我不确定如何设置批处理，以开始前一个离开。

有什么方法可以过滤我的扫描吗？据我所知，过滤是在加载后发生的，加载在1mb时停止，因此我实际上无法扫描新对象。

任何协助都将不胜感激。

import boto3
dynamodb = boto3.resource('dynamodb',
    aws_session_token = aws_session_token,
    aws_access_key_id = aws_access_key_id,
    aws_secret_access_key = aws_secret_access_key,
    region_name = region
    )

table = dynamodb.Table('widgetsTableName')

data = table.scan()

Answer 1

根据Jordon Phillips的答案，下面是如何通过分页传递过滤器表达式的方法：

import boto3

client = boto3.client('dynamodb')
paginator = client.get_paginator('scan')
operation_parameters = {
  'TableName': 'foo',
  'FilterExpression': 'bar > :x AND bar < :y',
  'ExpressionAttributeValues': {
    ':x': {'S': '2017-01-31T01:35'},
    ':y': {'S': '2017-01-31T02:08'},
  }
}

page_iterator = paginator.paginate(**operation_parameters)
for page in page_iterator:
    # do something

Answer 2

boto3提供分页器，为您处理所有分页细节。这是扫描分页器的文档页面。基本上，您可以这样使用它：

import boto3

client = boto3.client('dynamodb')
paginator = client.get_paginator('scan')

for page in paginator.paginate():
    # do something

Answer 3

我认为Amazon DynamoDB留档关于表扫描回答了你的问题。

简而言之，您需要在响应中检查LastEvaluatedKey。下面是使用您的代码的示例：

import boto3
dynamodb = boto3.resource('dynamodb',
                          aws_session_token=aws_session_token,
                          aws_access_key_id=aws_access_key_id,
                          aws_secret_access_key=aws_secret_access_key,
                          region_name=region
)

table = dynamodb.Table('widgetsTableName')

response = table.scan()
data = response['Items']

while 'LastEvaluatedKey' in response:
    response = table.scan(ExclusiveStartKey=response['LastEvaluatedKey'])
    data.extend(response['Items'])