使用Node.js在DynamoDB中分页？

Question

我已经通读了AWS关于分页的文档：

根据他们的文件规定：

在响应中，DynamoDB返回限制值范围内的所有匹配结果。例如，如果发出限制值为6且没有筛选器表达式的查询或扫描请求，DynamoDB将返回表中与请求中指定的键条件匹配的前六项（或者在没有筛选器的扫描情况下仅返回前六项）

这意味着，给定我有一个名为问题的表，其属性称为难度（可以接受从0到2的任何数值），我可能会遇到以下难题：

• 客户提出请求，思考GET/questions？难度=0

然后如何根据查询正确分页？我可以得到我想要的结果，同时得到正确的偏移量




Answer 1

避免使用递归来防止调用堆栈溢出。扩展@Roshan Khandelwal方法的迭代解决方案：

const getAllData = async (params) => {
  const _getAllData = async (params, startKey) => {
    if (startKey) {
      params.ExclusiveStartKey = startKey
    }
    return this.documentClient.query(params).promise()
  }
  let lastEvaluatedKey = null
  let rows = []
  do {
    const result = await _getAllData(params, lastEvaluatedKey)
    rows = rows.concat(result.Items)
    lastEvaluatedKey = result.LastEvaluatedKey
  } while (lastEvaluatedKey)
  return rows
}

Answer 2

下面是一个例子，说明如何在Node.js.中迭代DynamoDB扫描（也可以很容易地适应查询）的分页结果集

您可以保存LastEvaluatedKey状态服务器端，并将标识符传递回客户端，客户端将在下一个请求中发送该标识符，服务器将在下一个请求中将该值作为ExclusiveStartKey传递给DynamoDB。

const AWS = require('aws-sdk');
AWS.config.logger = console;

const dynamodb = new AWS.DynamoDB({ apiVersion: '2012-08-10' });

let val = 'some value';

let params = {
  TableName: "MyTable",
  ExpressionAttributeValues: {
    ':val': {
      S: val,
    },
  },
  Limit: 1000,
  FilterExpression: 'MyAttribute = :val',
  // ExclusiveStartKey: thisUsersScans[someRequestParamScanID]
};

dynamodb.scan(scanParams, function scanUntilDone(err, data) {
  if (err) {
    console.log(err, err.stack);
  } else {
    // do something with data

    if (data.LastEvaluatedKey) {
      params.ExclusiveStartKey = data.LastEvaluatedKey;

      dynamodb.scan(params, scanUntilDone);
    } else {
      // all results scanned. done!
      someCallback();
    }
  }
});

Answer 3

使用异步/等待。

const getAllData = async (params) => { 

    console.log("Querying Table");
    let data = await docClient.query(params).promise();

    if(data['Items'].length > 0) {
        allData = [...allData, ...data['Items']];
    }

    if (data.LastEvaluatedKey) {
        params.ExclusiveStartKey = data.LastEvaluatedKey;
        return await getAllData(params);

    } else {
        return data;
    }
}

我使用全局变量allData收集所有的数据。

调用此函数包含在一个尝试捕获中

try {

        await getAllData(params);
        console.log("Processing Completed");

        // console.log(allData);

    } catch(error) {
        console.log(error);
    }

我在Lambda中使用它，效果很好。

这篇文章真的帮助和指导了我。谢谢