DynamoDB中的查询大小限制

Question

我不了解DynamoDb中查询/扫描限制的概念。根据文件：

单个查询操作最多可以检索1 MB的数据。在对结果应用任何FilterExpression之前，此限制适用。

假设我有10k个条目，每个条目250kb，所有条目都符合查询参数。

1. 如果我运行一个简单的查询，我只得到4个项目？

Answer 1

@f-so-k的精彩解释。

这就是我处理查询的方式。

import AWS from 'aws-sdk';

async function loopQuery(params) {
  let keepGoing = true;
  let result = null;
  while (keepGoing) {
    let newParams = params;
    if (result && result.LastEvaluatedKey) {
      newParams = {
        ...params,
        ExclusiveStartKey: result.LastEvaluatedKey,
      };
    }
    result = await AWS.query(newParams).promise();
    if (result.count > 0 || !result.LastEvaluatedKey) {
      keepGoing = false;
    }
  }
  return result;
}


const params = {
    TableName: user,
    IndexName: 'userOrder',
    KeyConditionExpression: 'un=:n',
    ExpressionAttributeValues: {
      ':n': {
        S: name,
      },
    },
    ConsistentRead: false,
    ReturnConsumedCapacity: 'NONE',
    ProjectionExpression: ALL,
  };

  const result = await loopQuery(params);

编辑：

import AWS from 'aws-sdk';

async function loopQuery(params) {
  let keepGoing = true;
  let result = null;
  let list = [];
  while (keepGoing) {
    let newParams = params;
    if (result && result.LastEvaluatedKey) {
      newParams = {
        ...params,
        ExclusiveStartKey: result.LastEvaluatedKey,
      };
    }
    result = await AWS.query(newParams).promise();
    if (result.count > 0 || !result.LastEvaluatedKey) {
      keepGoing = false;
      list = [...list, ...result]
    }
  }
  return list;
}


const params = {
    TableName: user,
    IndexName: 'userOrder',
    KeyConditionExpression: 'un=:n',
    ExpressionAttributeValues: {
      ':n': {
        S: name,
      },
    },
    ConsistentRead: false,
    ReturnConsumedCapacity: 'NONE',
    ProjectionExpression: ALL,
  };

  const result = await loopQuery(params);

Answer 2

对于任何返回项目的操作，可以请求要检索的属性子集；但是，这样做对项目大小计算没有影响。此外，查询和扫描可以返回项目计数，而不是属性值。获取项目计数使用相同数量的读取容量单位，并且需要进行相同的项目大小计算。这是因为DynamoDB必须读取每个项才能增加计数。

管理已配置表上的吞吐量设置

Answer 3

如果我运行一个简单的查询，我只得到4个项目？

是呀

如果我使用ProjectionExpression只检索单个属性（大小为1kb），我会得到1k个项目吗？

否，filterexpressions和projectexpressions将在查询完成后应用。所以你仍然得到4个项目。

如果我只需要计算项目（选择“计数”），它会计算所有项目（10k）吗？

不，还是只有4个

这里您可能缺少的是，您仍然可以获得所有10k结果，或者10k计数，您只需要在页面中获得结果。这里有一些细节。基本上，当您完成查询时，请检查LastEvaluatedKey属性，如果该属性不为空，则获取下一组结果。重复此操作，直到属性为空，并且您知道已获得所有结果。

编辑：我应该说一些SDK为您抽象了这一点。例如，Java SDK具有query和queryPage，其中query将多次返回服务器以获取完整的结果集（即，在您的情况下，为您提供完整的10k结果）。