与多个消费者一起使用Amazon SQS

Question

我有一个基于服务的应用程序，它使用Amazon SQS，具有多个队列和多个消费者。我这样做是为了实现一个基于事件的架构，并解耦所有服务，其中不同的服务对其他系统状态的变化做出反应。例如：

• 注册服务：
  • 当新用户注册时，发出事件“registration new”
  • 在用户更新时发出事件'user-更新'。
  • 从队列“registration new”（注册新）中读取，并为搜索中的用户编制索引
  • 从“注册-新建”队列中读取并发送到MixPanel。
  • 从队列“用户更新”中读取并发送到混合面板。

  我有很多问题：

  • 在进行轮询时可以多次接收消息。我可以将很多系统设计为幂等的，但对于某些服务（例如metrics服务），这将更加困难。
  • 需要从SQS中的队列中手动删除一条消息。我想实现一个“消息处理服务”，当所有服务都收到消息时处理消息的删除（每个服务在处理消息后会发出一个“消息确认”事件）。

  我想我的问题是：我应该使用什么模式来确保我可以在SQS中为单个队列拥有多个消费者，同时确保消息也能可靠地传递和删除。谢谢你的帮助。

Answer 1

他们甚至有一个关于如何使用组合SNS SQS创建扇出场景的教程。

https://aws.amazon.com/getting-started/tutorials/send-fanout-event-notifications/

可惜它不支持FIFO队列，因此您必须小心处理乱序消息。

如果他们有一个一致的散列解决方案，在尊重消息顺序的同时拥有多个竞争消费者，那就太好了。

Answer 2

队列的多个消费者的主要用例是向外扩展。

允许多个使用者的机制是可见性超时，它为使用者提供了处理和删除消息的时间，而不会被另一个使用者同时使用。

为了解决标准队列的“至少一次传递”属性，消费服务应该是idemptotent。如果这不可能，一种可能的解决方案是使用FIFO队列，但这种模式的消息传递速率有限，并且与SNS订阅不兼容。

Answer 3

我认为你做错了。

在我看来，您使用同一个队列来执行多个不同的操作。您最好将单个队列用于单个目的。

而不是将一个事件放入注册-新建队列，然后让两个不同的服务轮询该队列，并且两者都需要读取该消息，并且都对其执行不同的操作（然后需要第三个进程，该进程应该在其他两个处理后删除该消息）。

一个队列应该用于一个目的。

>

mixpanel服务从mix panels队列中读取、处理消息并删除消息。

注册服务不再向单个队列发送“新注册”，而是将其发送到两个队列。

为了更进一步，将SNS添加到这里的混合中，让注册服务向“注册新”主题（而不是队列）发出SNS消息，然后以“扇出”模式将我上面提到的两个队列订阅到该主题。

https://aws.amazon.com/blogs/aws/queues-and-notifications-now-best-friends/

这两个队列都会收到消息，但您只能将其加载到SNS中一次-如果接下来第三个不相关的服务还需要处理“注册新”事件，您可以创建另一个队列并将其订阅到主题-它可以在不依赖于其他服务或不知道其他服务正在做什么的情况下运行-这就是目标。