一些消息在SQS中丢失

Question

我正在用SQS和JavaSDK发送和接收消息。几乎所有的消息都工作正常，但是其中一些丢失了，我不明白为什么。这是发送消息的代码：

final SendMessageRequest msg = new SendMessageRequest(
    this.queueUrl, data.toString()
).withMessageGroupId(projectId);
final Map<String, MessageAttributeValue> attrs = new HashMap<>(1);
// message signature - HMAC calculated from message body
final String signature = // calculating signature
attrs.put(
    "signature",
    new MessageAttributeValue()
        .withDataType("String")
        .withStringValue(signature)
);
attrs.put(
    "project",
    new MessageAttributeValue()
        .withDataType("String")
        .withStringValue(projectId)
);
attrs.put(
    "priority",
     new MessageAttributeValue()
         .withDataType("String")
         .withStringValue(priority)
);

msg.setMessageDeduplicationId(
    String.format("%s:%s", projectId, signature)
);
msg.setMessageAttributes(attrs);
Logger.debug(this, "sending message: %s", msg);
final SendMessageResult res = this.sqs.sendMessage(msg);
Logger.info(
    this,
    "message '%s' (%s) was sent: %s",
    data.id(), data.type(), res
);

以及接收代码（在循环中运行）：

final List<Message> messages = this.sqs.receiveMessage(
    new ReceiveMessageRequest(url)
        .withMessageAttributeNames(
            "project", "signature", "expires", "priority"
        )
        .withVisibilityTimeout(
            (int) Duration.ofMinutes(2L).getSeconds()
        )
        .withMaxNumberOfMessages(8)
).getMessages();
Logger.info(this, "received %d messages", messages.size());
for (final Message message : messages) {
    Logger.debug(this, "received message: %s", message);
    // actual logic here
    this.sqs.deleteMessage(
         new DeleteMessageRequest()
             .withQueueUrl(this.queue)
             .withReceiptHandle(message.getReceiptHandle())
    );
}

问题是，我能够接收到一些消息，但有些消息不是（总是相同类型的数据data.type（））。发送和接收的代码对于所有消息都是相同的。应用程序日志：

正在发送消息：{QueueUrl:https://sqs.us-east-1.amazonaws.com/0000000/my-queue.fifo，MessageBody:some unique body，MessageAttributes:{priority={StringValue:HIGH，StringListValues:[]，BinaryListValues:[]，DataType:String}，signature={StringValue:EXTvx7WWrZ7uTU63szJ2C4VN/6ZOiw/wKL83qW7V3i0=，StringListValues:[]，BinaryListValues:[]，DataType:String}，project={StringValue:PMO，StringListValues:[]，BinaryListValues:[]，数据类型：String}}，MessageDeduplicationId:PMO:EXTvx7WWrZ7uTU63szJ2C4VN/6ZOiw/wKL83qW7V3i0=，MessageGroupId:PMO}
消息'e29baf85-7be4-449b-824f-e405c59cf7c4'（[test]）已发送：{MD5OfMessageBody:9d6e98e0e85c8f5ca7cc4c23378dc14b，MD5OfMessageAttributes:fe94ccb1b405588e0691c91392d2c8ea，消息ID:c8ce957a-93c8-49ef-9a08-9E12CB592B52B4，序列号：48188975999057872}
接收消息限制；timout=2m
收到0条消息
收到消息：限制=8条；timout=2m
收到0条消息
收到消息：限制=8条；timout=2m
收到0条消息
收到消息：限制=8条；timout=2m
收到0条消息

我检查了这些邮件的重复数据消除id是否总是不同的，并且其内容也不同。如何更深入地调试这个问题？

更新：我的队列似乎满是消息，但我无法接收它们：

$ aws sqs get-queue-attributes --queue-url="$QURL" --attribute-names=ApproximateNumberOfMessages
{
    "Attributes": {
        "ApproximateNumberOfMessages": "1490"
    }
}

这很奇怪，因为有些消息即使在满队列的情况下也会在几秒钟内传递。

更新2：我尝试使用长轮询，但没用。

Answer 1

检查AWS控制台中是否有针对该队列的机上请求，因为我可以看到您对所有消息使用相同的messagegroupid，因此，如果任何消费者收到任何一条消息，消息将按顺序处理，直到消息确认或可见性超时过期，其他消费者将不会收到任何消息。