AWS SQS标准队列的并行轮询-消息处理太慢

Question

我有一个模块，它用ReceiveMessageRequest以指定的时间间隔轮询AWS SQS队列，每次一条消息。方法如下：

public static ReceiveMessageResult receiveMessageFromQueue() {

    String targetedQueueUrl = sqsClient.getQueueUrl("myAWSqueueName").getQueueUrl();
    ReceiveMessageRequest receiveMessageRequest = new ReceiveMessageRequest(targetedQueueUrl)
            .withWaitTimeSeconds(10).withMaxNumberOfMessages(1);
    return sqsClient.receiveMessage(receiveMessageRequest);
}

接收并处理消息后，使用DeleteMessageResult将其从队列中删除。

public static DeleteMessageResult deleteMessageFromQueue(String receiptHandle) {

    log.info("Deleting Message with receipt handle - [{}]", receiptHandle);
    String targetedQueueUrl = sqsClient.getQueueUrl("myAWSqueueName").getQueueUrl();
    return sqsClient.deleteMessage(new DeleteMessageRequest(targetedQueueUrl, receiptHandle));

}

我已经创建了一个可执行的jar文件，它部署在大约40个实例中，并且正在积极地轮询队列。我能看到他们每个人都收到信息。但在AWS SQS控制台中，我只能在“飞行中的消息”栏中看到数字0、1、2或3。为什么即使有40多个不同的消费者正在从队列接收消息呢？此外，队列中可用的消息数量减少得非常缓慢。

Default Visibility Timeout: 30 seconds
Message Retention Period:   4 days
Maximum Message Size:   256 KB
Receive Message Wait Time:  0 seconds
Messages Available (Visible):   4,776
Delivery Delay: 0 seconds
Messages in Flight (Not Visible):   2
Queue Type: Standard
Messages Delayed:   0
Content-Based Deduplication:    N/A 

Answer 1

我会尽我所能提供给你的信息。更多关于您的处理循环逻辑、区域设置和度量（见下文）的详细信息将有助于改进这个答案。

我已经创建了一个可执行的jar文件，它部署在大约40个实例中，并且正在积极地轮询队列。我能看到他们每个人都收到信息。但在AWS SQS控制台中，我只能在“飞行中的消息”栏中看到数字0、1、2或3。为什么即使有40多个不同的消费者正在从队列接收消息呢？此外，队列中可用的消息数量减少得非常缓慢。

为什么即使有多个消费者，消息也得不到快速处理？我是否需要修改接收消息/删除消息请求中的任何队列参数或其他内容？

null

• CloudWatch将为您提供部分功能，但实际的客户端度量标准总是有用的。
• 推荐以下基本度量：（1）接收延迟，(2)处理延迟，(3)删除延迟，(4)整个消息循环延迟(5)成功/失败计数器

• 确保这些主机有足够的CPU/内存资源来进行处理
• 作为一种优化，我建议每台主机使用更多的线程，而使用更少的主机--重用客户端连接&最大限度地利用您的计算资源总是更好的。

• 这实际上是我在您的代码中注意到的第一件事，但它在这里是因为上面的问题如果是原因的话会产生更大的影响。

null

进一步注意：

• 另一个答案认为可见性超时是一个潜在原因--这完全是错误的。可见性超时不会阻塞队列--它只会影响消息在另一个receiveMessageRequest能够接收到该消息之前“正在运行”的时间。
• 如果您希望在出现错误/处理速度慢的情况下更快地重新处理消息，您可以考虑减少这一点。