如何优化DynamoDB查询响应时间？

Question

我们使用API网关Lambda函数DynamoDB来获取数据，并使用DynamoDB查询方法。对于260.4KB的数据（项目总计数：675 |扫描计数：3327），需要3.49秒。

要求：

我们有4个客户，我们每天计算客户销售用户的数据，并将其存储在数据库中。

表结构：

• 主键：ClientId
• 排序键：日期UserId
• 其他属性：日期

在查询中-我们使用主键ClientId

目前，我们正在为DynamoDB使用按需模式，但我们感觉到响应时间

我们是否有任何方法可以使用任何AWS配置来改进这一点？

更新Lambda中的[24/03/2021]-我们正在使用NodeJs。

module.exports.executeQuery = async(dynamoDbClient, queryInput) => {
  return await new Promise((resolve, reject) => {
    dynamoDbClient.query(queryInput, (err, users) => {
      if (err) {
        reject(handleQueryError(err));
      }
      else {
        resolve({
          statusCode: 200,
          users,
        });
      }
    });
  });
};

为Lambda设置的内存=128 MB

Answer 1

正如评论中所建议的，我首先增加Lambda函数的内存大小。

Lambda CPU性能随内存而变化，根据我的经验，从DynamoDB解析更大的响应会从更高的CPU性能中受益匪浅。

几天前，我在一个博客上做了一个性能分析（免责声明：我的雇主techblog，这是关于主题的——尽管是针对python的），发现不同内存大小的性能之间存在显著差异。

Answer 2

你会得到3327个结果，所以3.5秒的响应时间并不让我惊讶。从我的经验来看，听起来很对。

这里的根本问题是缺少线程或并行处理。您可以很容易地证明这一点，请运行以下CLI命令：

aws dynamodb scan --table-name YOURTABLENAME --total-segments X --segment 0 --select COUNT

替换YOURTABLENAME和X，其中X应该是表中数据的MB数。因此，如果您有100MB的数据，请使用100。

这将使用X个线程执行并行扫描。它将在大约1s后返回，并将获取您表中的所有项目。

然后，您可以尝试使用--total segments 1（使用一个线程运行）进行扫描，并查看需要多长时间。

这表明需要在并行线程中获取大量数据。

你的分区太大了。如果您尝试一个数据较少的键，可能会有10条记录，我希望查询速度会更快。

您可能需要研究分片技术来减少分区中的数据量，然后您可以并行查询这些分区。请注意，DynamoDB没有提供BatchQuery方法，这是一个耻辱，因此您必须编写自己的并行查询方法。