芹菜是如何工作的？

Question

我最近开始研究分布式计算以提高计算速度。我选择了芹菜。然而，我对一些术语不太熟悉。所以，我有几个相关的问题。

来自芹菜文档：

...

Celery通过消息进行通信，通常使用代理在客户机和工作人员之间进行调解。为了启动任务，客户机将消息添加到队列中，然后代理将该消息传递给工作者。

什么是客户端（这里）？什么是经纪商？为什么消息通过代理传递？为什么 Celery 会使用后端和队列进行进程间通信？

当我通过发出命令来执行Celery控制台时

celery worker -A tasks --loglevel=info --concurrency 5

这是否意味着Celery控制台是一个负责5个不同进程并跟踪任务队列的工作进程？当新任务被推入任务队列时，该工作人员是否将任务/作业分配给5个进程中的任何一个？

Answer 1

先问最后一个问题:

celery worker -A tasks --loglevel=info --concurrency 5

你是对的 - 工作人员控制5个进程。工作线程在 5 个进程之间分配任务。

“客户端”是异步运行芹菜任务的任何代码。

有 2 种不同类型的通信 - 当您运行apply_async向代理发送任务请求（最常见的是 rabbitmq） - 这基本上是一组消息队列。

当工作人员完成后，他们将结果放入结果后端。

代理和结果后端是完全独立的，需要不同类型的软件才能以最佳方式运行。

您可以将RabbitMQ用于两者，但一旦您达到一定的消息速率，它将无法正常工作。最常见的组合是RabbitMQ用于代理，Redis用于结果。