如何保持多个独立的celery队列？

司寇山

2023-03-14

问题内容：

我正在尝试将具有不同任务和工作人员的多个芹菜队列保留在同一Redis数据库中。实际上，只是在我的机器上只需要一台Redis服务器而不是两台Redis服务器的便利性问题。

我逐字阅读了celery教程文档，因为它是让它对我有用的唯一方法。现在，当我尝试使用稍作调整的名称/队列来复制所有内容时，它总是会出错。

注意-我是Python和Celery的新手，这显然是问题的一部分。我不确定哪个部分被命名为“任务”，而不是特殊词。

我精简的文档版本：运行celery -A tasks worker以生成工作程序。task.py包含celery = Celery('tasks',broker='redis://localhost')用于连接Celery的任务代码，并且@task()在我想延迟的功能之上。

在我的任务排队程序中…

from tasks import do_work
do_work.delay()

因此，鉴于上述所有情况，我需要采取什么步骤将其转变为两种类型的任务，分别在单独的队列和工作器上运行？例如，blue_tasks和red_tasks？

我尝试将所有任务实例更改为blue_tasks或red_tasks。但是，当我将blue_tasks排队时，我启动的red_tasks工作程序开始尝试对其进行处理。

我阅读了有关默认队列之类的信息，因此尝试了以下代码，但该代码无效：

CELERY_DEFAULT_QUEUE = 'red'
CELERY_QUEUES = (
    Queue('red', Exchange('red'), routing_key='red'),
)

附带说明，我不明白为什么celery workercelery尝试连接到默认amqp实例时出错，却celery -A tasks worker告诉celery连接到Redis。celery worker如果未指定任何内容，则尝试在工作程序上运行什么任务代码？

问题答案：

默认情况下，所有内容都进入一个名为的默认队列celery（celery worker如果未指定队列，这将进行处理）

假设您在中具有do_work任务功能django_project_root/myapp/tasks.py。

您可以将do_work任务配置为驻留在自己的队列中，如下所示：

CELERY_ROUTES = {
    'myproject.tasks.do_work': {'queue': 'red'},
}

然后使用运行一个工作celery worker -Q red程序，它将仅处理该队列中的内容（使用调用的另一个工作程序celery worker将仅提取默认队列中的内容）

文档中的任务路由部分应说明所有内容。