AWS：读取SQS的多个实例

Question

简单问题：我想在Amazon上运行一个autoscale组，它会启动多个实例来处理来自SQS队列的消息。但我怎么知道这些实例没有处理相同的消息呢？

我可以在处理消息时将其从队列中删除。但如果它还没有被删除，并且仍由一个实例处理，那么另一个实例可以下载相同的消息，并对其进行处理。

Answer 1

你可以收到重复的信息，但只能在“极少数情况下”收到。所以你应该以幂等为目标。

Answer 2

除了SQS不正确地多次传递相同消息的可能性相当小（您仍然需要解释，尽管这不太可能）之外，我怀疑您的问题源于对SQS“可见性超时”概念的不熟悉

组件收到消息后，消息仍在队列中。然而，不希望系统中的其他组件再次接收和处理该消息。因此，Amazon SQS通过可见性超时来阻止它们，这是一段时间，在此期间Amazon SQS阻止其他消费组件接收和处理该消息。

http://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/AboutVT.html

这就是防止多个队列运行者看到相同消息的原因。一旦可视性超时过期，消息将再次传递给队列使用者，除非您将其删除，或者它超过了配置的最大传递次数（此时消息将被删除，或者如果您已经配置了一个死信队列，它将进入一个单独的死信队列）。如果作业所需时间超过配置的可见性超时，则消费者还可以向SQS发送请求，以更改该消息的可见性超时。

更新：

由于这个答案最初是写出来的，SQS在一些AWS地区引入了FIFO队列。它们使用与上述相同的逻辑进行操作，但有保证的按序交付和额外的保护措施，以保证偶尔不会出现重复的消息交付。

FIFO（先进先出）队列设计用于在操作和事件顺序非常关键或不能容忍重复时增强应用程序之间的消息传递。FIFO队列也只提供一次处理，但限制为每秒300个事务（TPS）。

http://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/FIFO-queues.html

将应用程序切换到FIFO队列确实需要一些代码更改，并且需要创建一个新队列--现有队列不能更改为FIFO。