芹菜eventlet工作线程使用过多的数据库连接

Question

我有2个芹菜工人，通过eventlet池，配置如下：

celery multi start w1 w2 -A proj -l info --time-limit=600 -P eventlet -c 1000

当一次运行100多个任务时，我会遇到以下错误：

操作错误：致命：剩余的连接插槽保留给非复制超级用户连接

我在PostgreSQL上运行，最大连接数设置为默认值100。

从我在网上读到的，我认为池中的工作线程将共享相同的数据库连接。然而，我的似乎尝试和每个线程创建一个连接，这就是错误发生的原因。

有什么想法吗？

谢谢

Answer 1

Django有（或有）空闲数据库连接重用，以避免为每个请求创建新连接的开销。空闲重用与此场景无关。

Django从来没有限制数据库连接池。（如有错误，请更正）

考虑总体设计：

• 你需要并发执行多少任务？（实数通常不是10的好幂）
• 您的数据库可以支持多少个来自此应用程序的同时连接？
• 您需要放置人工瓶颈（池）还是需要增加限制并使用可用的硬件？

考虑使用外部[ PostgreSQL连接池]（谷歌方括号中的术语）或在应用程序中包含某个地方。