为什么要使用单独的轮询线程和工作线程？

Question

上下文：我正在设计一个应用程序，它将使用来自各种Amazon SQS队列的消息。（超过25个队列）为此，我正在考虑创建一个库来使用队列中的消息（称为MessageConsumer）

我希望根据队列中的流量动态分配线程来接收/处理来自不同队列的消息，以最大限度地减少资源浪费。我有两种方法可以做这件事。

1）只能有一种类型线程轮询队列、接收消息并处理这些消息，且所有队列都有一个公共线程池。2）可以有单独的轮询线程和工作线程。

在第二种情况下，我将拥有公共的工作线程池，每个队列的轮询器数量不变。

编辑：详细说明第二种情况：我计划让每个队列有一个持续运行的线程来戳那个队列中的消息量。然后根据每个队列中的消息数和队列的优先级来确定每个队列所需的轮询线程数。

我不希望轮询线程一直运行，因为这可能会导致空接收(sqs.receiveMessages())，所以我将根据流量分配轮询线程。高流量队列将有更多的轮询线程，因此将有更多的作业提交到工作线程池。

请建议这个设计有什么改进或缺陷？

Answer 1

建议的流程是：

• 工作人员使用长轮询轮询队列（这意味着在返回空响应之前最多等待20秒）
• 每次呼叫最多可以请求10条消息给ReceiveMessage()
• 工作人员处理消息
• 工作人员从队列中删除消息
• 重复

如果您希望调整workers的数量，可以基于Amazon CloudWatch中的ExampiateNumberOfMessagesVisible度量。如果该数字太高，请添加一名员工。如果它降至零（或低于某个阈值），则移除一个工作者。

让每个工作者只轮询一个队列可能是最容易的。

不需要“民意测验员”。工人们自己进行投票。通过这种方式，您可以独立地对工作人员进行缩放，而不需要某个中心“轮询”服务来尝试对其进行全部管理。只需启动一个新的AmazonEC2实例，启动some workers并开始处理消息。当缩放时，只需终止工作人员，甚至终止实例--同样，不需要在中央“轮询”服务中注册/取消注册工作人员。