芹菜和RabbitMQ-队列优先级vs.消费者优先级vs.任务优先级

Question

在我的python应用程序中，我使用芹菜作为任务生产者和消费者，使用RabbitMQ作为代理。现在，我正在实施优先级排序。起初，它看起来根本不起作用，因为根据文档，我刚刚在队列中添加了x-max-priority参数。我更深入地研究了一下，发现了另一种优先级——消费者优先级和任务优先级。所以，现在，看起来有三种不同的优先顺序，我完全困惑了。你能给我解释一下区别吗？

队列最大优先级：即https://www.rabbitmq.com/priority.html

Queue('my_queue', exchange=Exchange('my_queue'), routing_key='my_queue', queue_arguments={'maxPriority': 10})

消费者优先权：即https://www.rabbitmq.com/consumer-priority.html

Queue('my_queue', exchange=Exchange('my_queue'), routing_key='my_queue', consumer_arguments={'priority': 10})

任务优先级：即https://github.com/celery/celery/issues/2635#issuecomment-173597053

my_task.apply_async(args=(arg1, arg2), priority=6)

非常感谢。

经过进一步研究后编辑：

我读了更多的书后才明白：

队列最大优先级是一种限制，它告诉这个队列只监听优先级设置为最大值的任务，直到这个参数。但是更高优先级的任务呢？队列是否将优先级降低到自定义的最大值？无视他们？

消费者优先级看起来像是消费者的优先级。如果有两个优先级不同的消费者，并且他们都是免费的，那么第一个消费消息的人就是优先级更高的人。但是为什么它是由队列定义的，而不是由消费者本身定义的？

任务优先级应该是优先级，这对我的需求来说是最重要的。它告诉我们应该优先阅读此消息。

因此，看起来最好的优先级将通过将所有优先级与多个辅助角色和并发设置为1相结合来实现，而不是一个具有更高并发的辅助角色，并配置了worker_prefetch_multiplier和task_acks_late。

你怎么认为？是这样吗？

Answer 1

• x-max优先级是用于定义优先级队列的RabbitMQ参数。提供的值是队列支持的最高优先级。
• 如果多个消费者可用于工作，消费者优先考虑给定的消费者。
• 任务优先级是你如何告诉芹菜任务的优先级。您的代理（和队列）需要支持优先级，以便执行任何操作。

如果您为cyery提供的任务的优先级高于队列的x-max-优先级，cyery将使用x-max-优先级值将消息放在队列上。

我不知道你所说的“最佳优先顺序”是什么意思。当您启动芹菜工作者时，它会启动RabbitMQ使用者和N个其他进程（由并发参数控制）来处理任务。主辅助进程将使用任务的消息，并将任务放置在其池中，由其中一个池辅助进程处理。

正如您所说，您可以通过为实际执行任务的每个进程指定一个队列使用者，以不同的方式从队列中进行消费。这是否具有更大的任务吞吐量取决于您的环境，并取决于通过队列的任务数量；但是，我不认为这会影响任务的优先顺序。

如果您有优先级队列（特别是如果您的任务正在长时间运行），则选择低预取值是明智的，因为在将高优先级任务放置到队列上之前已从队列中消耗（提取）的任何任务都将首先运行。