如何处理DynamoDB boto3的batchWriteItem（在lambda中称为）跳过一些项目（不上传到Dynamodb）？

Question

这是一个正在使用AWS开发的项目。

我已经使用CloudWatch中的cron表达式安排了lambda函数。该函数将每天上传项目到DynamoDB。

尽管有一个唯一的主键，但有些项目没有上传到Dynamodb。有时跳过连续项，有时跳过主键稍相似的项。通常，跳过的项目数少于20个。

当我再次手动运行lambda函数时，它完全可以工作。想知道这背后的原因，可能的解决方案。谢谢！

Answer 1

BatchWriteItem留档解释说，如果数据库遇到问题-最明显的是如果您的请求速率超过您的预配容量-很可能一个BatchWriteItem只会成功写入批处理中的一些项。未写入的项目列表将在响应中的UnProcessedItem属性中返回，并且您将再次尝试写入相同的未处理项目：

如果任何请求的操作因超出表的已配置吞吐量或发生内部处理故障而失败，则会在UnprocessedItems响应参数中返回失败的操作。您可以调查并选择重新发送请求。通常，您会在循环中调用BatchWriteItem。每次迭代都会检查未处理的项，并提交一个新的BatchWriteItem请求和这些未处理的项，直到处理完所有项为止。

如果由于请求中所有表上的已配置吞吐量不足而无法处理任何项，则BatchWriteItem将通过PutteExceedeDexception返回已配置的数据。

如果DynamoDB返回任何未处理的项，则应重试这些项的批处理操作。但是，我们强烈建议您使用指数退避算法。如果立即重试批处理操作，由于对各个表进行限制，底层读或写请求仍可能失败。如果使用指数退避延迟批处理操作，批处理中的单个请求更可能成功。