如何正确使用日期过滤器aws Dynamodb boto3

Question

我想在dynamodb中检索表中的项。然后，我将把这个数据添加到大查询中表的最后一个数据下面。

client = boto3.client('dynamodb')
table = dynamodb.Table('table')
response = table.scan(FilterExpression=Attr('created_at').gt(max_date_of_the_table_in_big_query))

#first part
data = response['Items']

#second part
while response.get('LastEvaluatedKey'):
    response = table.scan(ExclusiveStartKey=response['LastEvaluatedKey'])
    data.extend(response['Items'])

df=pd.DataFrame(data)
df=df[['query','created_at','result_count','id','isfuzy']]

# load df to big query
.....

日期过滤器工作正常，但在while循环会话（第二部分）中，代码检索所有项。在第一部分之后，我有100行。但是在这个代码之后

while response.get('LastEvaluatedKey'):
    response = table.scan(ExclusiveStartKey=response['LastEvaluatedKey'])
    data.extend(response['Items'])

我有50万行。我只能使用第一部分。但我知道有1 mb的限制，这就是我使用第二部分的原因。如何获取给定日期范围内的数据

Answer 1

您的第一次扫描API调用有一个FilterExpression集，它应用了您的数据过滤器：

response = table.scan(FilterExpression=Attr('created_at').gt(max_date_of_the_table_in_big_query))

但是，第二次扫描API调用没有一组，因此没有过滤您的数据：

response = table.scan(ExclusiveStartKey=response['LastEvaluatedKey'])

将FilterExpression应用于两个调用：

while response.get('LastEvaluatedKey'):
    response = table.scan(
       ExclusiveStartKey=response['LastEvaluatedKey'], 
       FilterExpression=Attr('created_at').gt(max_date_of_the_table_in_big_query)    
    )
    data.extend(response['Items'])