并发，工作人员和自动缩放之间的芹菜差异

Question

在我的/etc/defaults/celeryd配置文件中，我设置了：

CELERYD_NODES="agent1 agent2 agent3 agent4 agent5 agent6 agent7 agent8"
CELERYD_OPTS="--autoscale=10,3 --concurrency=5"

据我所知，守护进程生成8组芹菜的工人，但我完全不知道该怎么autoscale和concurrency一起做。我认为并发是一种指定工作人员可以使用的最大线程数的方法，而自动伸缩是工作人员在必要时扩展和缩减子级工作人员的一种方法。

这些任务的负载比较大（大约20-50kB），大约有2-3百万个这样的任务，但是每个任务的运行时间不到一秒钟。我看到内存使用量激增，因为代理将任务分配给每个工作人员，从而多次复制了有效负载。

我认为问题出在配置中，并且工作程序+并发+自动缩放的组合过多，我想更好地了解这三个选项的作用。

Answer 1

让我们区分工人和工人流程。您生成一个芹菜工人，一些处理此则产卵（视之类的东西--concurrency和--autoscale，默认是产卵多的进程，在计算机上的内核）。除非要进行路由，否则在一台特定计算机上运行多个工作器是没有意义的。

我建议每台计算机仅使用默认进程数运行1个工作进程。通过消除工作进程之间的数据重复，这将减少内存使用。

如果仍然存在内存问题，则将数据保存到存储中，并仅将ID传递给工作程序。