AWS Lambda：调用调用API操作失败，出现以下消息：网络错误

Question

我创建了一个lambda，它迭代给定S3 bucket中的所有文件，并删除S3 bucket中的文件。S3存储桶有大约100K个文件，我正在选择并删除大约60K个文件。我已将lambda的超时设置为最大（15分钟）超时值。lambda在几分钟后始终返回“网络错误”，尽管它似乎在后台运行了一段时间，甚至在返回错误后也是如此。你怎么能绕过这个？

Answer 1

解决方案是创建另一个函数，并查看节流阀是否出现该错误。

Answer 2

S3具有速率限制，它限制您每秒可以执行的读取和写入次数。

Amazon S3会自动扩展到高请求率。例如，您的应用程序可以在存储桶中的每个前缀每秒至少实现3,500个PUT/POST/DELETE和5,500个GET请求。存储桶中的前缀数量没有限制。以指数方式提高您的读取或写入性能很简单。例如，如果您在Amazon S3存储桶中创建10个前缀以并行化读取，您可以将读取性能扩展到每秒55,000个读取请求。

如果所有这些对象的键（文件路径）中都有相同的8个字符，那么它们的前缀相同，并且限制为3,500个DELETE和5,500个GET。如果是这种情况并且您需要定期这样做，请考虑更改前缀，以便键的前8个字符不同，迫使对象分布在更多节点上。我之前的一个答案对此进行了更详细的说明。

或者，您可以使用批量删除操作，每个操作最多删除1000个对象。

您看到的延迟可能是由于S3在该地区的AZs之间同步时的最终一致性。

Amazon S3为所有区域的覆盖PUTS和DELETES提供最终一致性。