AWS SQS队列提高性能

Question

我试图实现一个AWS SQS队列，以最大限度地减少来自后端服务器的数据库交互，但我遇到了问题。

• 我有一个消费者进程，它从一个SQS队列中查找消息

为了测试功能，我为一个客户端实现了逻辑。它运行得很好。然而，当我添加了3个客户端时，它不能正常工作。我能够看到SQS队列被500条消息卡住了，后端作业正在正常工作，从队列中读取。

我需要增加后端作业的数量还是增加客户端SQS队列的数量？现在，所有客户端都将消息发送到同一队列。

如何计算所需的后端作业数？此外，是否有任何设置可以使SQS更快地工作？

Answer 1

将消息存储在队列中是件好事——事实上，这就是使用队列的目的。

如果您的后端系统无法以生成消息的速度使用消息，那么队列将充当缓冲区来保留消息，直到可以处理它们为止。一个很好的例子是AWS re:Invent演示，其中一个队列显示超过2亿条消息：使用Amazon SQS和Amazon SNS构建弹性、高性能的系统

如果快速处理消息很重要，请缩放您的消费者以匹配消息生成的速度（或更快，以便您可以使用积压）。

您提到您的流程“从SQS队列中提取JSON消息，从队列中删除消息并对其进行处理”。请注意，最佳做法是从队列接收消息，对其进行处理，然后（在完全处理后）将其删除。这样，如果进程失败，消息将在定义的不可见期后自动重新出现在队列上。这使您的应用程序更能适应失败。