如何优化AWS s3的使用以处理“请降低您的请求率”问题
我正在从事一个项目，其中读/写请求的数量随着数据大小的增加而增加。但在测试50GB数据时，我们对s3发出了非常高的读/写请求，s3抛出了“请降低您的请求率”错误。我们无法选择减少请求的选项，所以是否有任何可能的方法可以更灵活地使用s3来避免此问题。任何帮助都将不胜感激。
共有1个答案
您需要将负载分布在许多s3前缀上。
Amazon S3会自动扩展到高请求率。例如，您的应用程序可以在存储桶中的每个前缀每秒至少实现3,500个PUT/POST/DELETE和5,500个GET请求。存储桶中的前缀数量没有限制。以指数方式提高您的读取或写入性能很简单。例如，如果您在Amazon S3存储桶中创建10个前缀以并行化读取，您可以将读取性能扩展到每秒55,000个读取请求。
检查这里
-
类似的问题和答案已经足够多了。然而，很少有人提到前缀。首先，不再需要前缀随机化，请参见此处 此S3请求率性能提升消除了之前随机化对象前缀以实现更快性能的任何指导。这意味着您现在可以在S3对象命名中使用逻辑或顺序命名模式，而不会对性能产生任何影响。 现在回到我的问题上来。我仍然感到“减速”，我不明白为什么 我的所有对象分布如下： /foo/bar/baz/node_1/folder1/file1.b
-
我正在使用OkHttpClient向网站的网页url发送请求，并通过以下方法存储它提供的cookie，我仅从stackoverflow获得该方法。 有必要存储cookie，否则网站会将请求重定向到超时页面。 然后，我看到页面的html来检查我是否到达了正确的网址。 现在，我以类似于网址“www.example.com/loginPage”的方式制作另一个请求变量，并尝试查看html，但它将我重定向
-
问题内容： 我试图打开登录页面（GET），获取网络服务器提供的cookie，然后提交用户名和密码对以登录网站（POST）。 看着这个Stackoverflow问题/答案，我认为我会做以下事情： 但是，标头中有一个，但该对象中没有改变。实际上，链接问题的回答将表明没有内容被填充。 我在代码中通过使用标头字典来解决此问题，并在执行GET或POST之后使用此标头处理： 然后在请求方法中传递标头。这是正确
-
问题内容： 我正在制作一个Java Servlet页面，该页面检查域名列表，并通过jquery ajax请求检查每个名称。它的工作正常，除非结果被无序附加到DOM。什么是按请求的顺序处理请求的最佳方法，但是又像长时间轮询一样异步进行。我是javascript新手。 这是我用于请求的代码： 我当时正在考虑向Java Servlet发送一个序列号，该序列号将通过JSON返回，但是我想知道是否有更简单的
-
我在运行Jhipster时遇到了问题。我有一个工作的应用程序，它与嵌入式tomcat服务器运行良好。但是，当我将mvn-pprod之后的war文件部署到外部tomcat服务器时，主url显示以下错误。我没有对html5等做任何明确的更改。 我的主要疑问是，如何调试此场景？在控制台或服务器日志中看不到任何堆栈跟踪。我正在访问war的URL：project1-0.0.1-snapshot.war
-
频率控制是控制资源利用和保证服务高质量的重要机制。Go可以使用goroutine，channel和ticker来以优雅的方式支持频率控制。 package main import "time" import "fmt" func main() { // 首先我们看下基本的频率限制。假设我们得控制请求频率， // 我们使用一个通道来处理所有的这些请求，这里向requests