AWS SQS队列在一条消息的可见性超时到期之前不传递任何消息

Question

编辑：在我写的时候解决了这个问题：P--我喜欢这样的解决方案。我想无论如何我都要把它贴出来，也许别人也会有同样的问题，找到我的解决办法。不关心点数/因果报应等等。我只是把整个事情写了出来，所以我想我应该把它和解决方案贴出来。

我有一个SQS FIFO队列。它使用的是一纸空文队列。以下是它的配置方式：

我有一个单一的生产者微服务，我有10个ECS映像运行作为消费者。

由于业务原因，我们在接近消息在队列中传递的时间时处理消息是很重要的。

我们使用AWS SDK Golang客户端包的一个相当新的版本来处理生产者和消费者代码（如果重要的话，我可以去查一下这个版本，但它并不是很过时）。

我为生产者捕获日志，以便准确地知道消息何时被放入队列，以及消息是什么。

下面是我在正常情况下看到的日志：

1. 在时间x放入队列的消息
2. 10个使用者之一在时间x接收的消息
3. 使用者成功处理消息
4. 使用者在时间x+（0-2秒）从队列中删除的消息
5. 每天在不同时间重复AdInfinitum，每天最多700条消息

但我现在看到的问题是，有些消息没有得到及时处理。偶尔，我们会在处理一条消息时故意失败，因为系统的状态会影响该消息（例如，可能用户还在登录，所以它应该退后重试……它确实这样做了）。问题是，如果使用者失败了一条消息，它将导致队列停止向任何其他使用者传递任何其他消息。

在深入研究日志并进行分析之后，我看到了以下内容：

1. 进程开始于上面（生成、消耗、删除消息）。
2. 使用者在时间x接收的新消息
3. 使用者失败--记录错误并仅返回（不删除）
4. 在时间x+5m再次收到相同消息（可见性超时）
5. 使用者失败--记录错误并仅返回（不删除）
6. 最多重复10x--消息进入死信队列
7. 收到新邮件，但现在已晚50分钟！
8. 现在，在步骤2-7之间放入队列的所有消息都晚了50分钟(5M可见性超时*10次重试）

我读过的所有文档都告诉我队列不应该以这种方式运行，但我已经在日志中验证过几次了。可悲的是，我们没有一个付费的AWS支持计划，否则我会向他们申请一张罚单。但只要考虑一下这样一个事实：我们有10个独立的消费者都在从同一个队列中读取。他们只从这个队列中读取。我们没有它正在使用的任何其他队列。

对于去重复，我们使用消息体的自动散列。消息是小型JSON文档。

我的期望是，如果我们有一个导致可见性超时的坏消息，那么队列仍然会在有可用消费者的情况下愉快地传递它所拥有的任何其他可用消息。

Answer 1

好的，结果我错过了文档中关于FIFO队列的一小块信息：

https://docs.aws.amazon.com/awssimplequeueService/latest/sqsdeveloperguide/fifo-queues.html

当您接收到具有消息组ID的消息时，除非您删除该消息或该消息变得可见，否则不会返回相同消息组ID的更多消息。

我确实使用了相同的消息组ID。没有再考虑一下。请注意，如果您这样做，并且您的任何一个消息处理失败，它将备份队列中的所有其他消息，直到消息最终被处理为止。我的解决方案是更改消息组ID。有一些业务逻辑id,我可以在它的后缀,这将为我工作。