Rabbitmq在高负载：Socket.error[Errno 104]连接重置通过对等

Question

我一直使用芹菜与Rabbitmq作为后端。每当我发送一个高负载（大约600-1000）的任务到Rabbitmq，我得到以下错误socket.error[Errno 104]连接重置由对等

我一直在使用的一个示例命令是：

for i in {1..500}; do python client.py queue_name time_out bash -c "sleep 20 && touch folder/$i" & done
for i in {1..500}; do python client.py different_queue_name time_out bash -c "sleep 20 && touch folder/$i" & done

这是我的客户。py发送一个任务，该任务在worker上执行给定的bash命令，并轮询超时秒的结果。

我还尝试使用此命令在一段时间间隔内发送负载。它仍然给出相同的错误

for i in {1..10}; do for i in {1..50}; do python client.py queue_name time_out bash -c "sleep 60 && touch folder/$i" & done; sleep 10; done
for i in {1..10}; do for i in {1..50}; do python client.py different_queue_name time_out bash -c "sleep 60 && touch folder/$i" & done; sleep 10; done

是什么导致了这种行为？我能做些什么来处理这种情况？

Answer 1

=警告报告==文件描述符限制报警集 表示您的文件已达到filedescriptor限制。

你应该调整你的操作系统和RabbitMQ。

这里有几个链接，你应该遵循：

• https://www.rabbitmq.com/production-checklist.html

打开文件句柄限制操作系统限制并发打开文件句柄的最大数量，包括网络套接字。确保将限制设置得足够高，以允许预期数量的并发连接和队列。

确保您的环境允许有效的RabbitMQ用户使用至少50K的开放文件描述符，包括在开发环境中。

根据经验，将并发连接的第95个百分位数乘以2，并添加队列总数，以计算推荐的打开文件句柄限制。高达500K的值并不不足，也不会消耗大量硬件资源，因此建议用于生产设置。有关详细信息，请参阅网络指南。

• https://www.rabbitmq.com/networking.html

Erlang VM I/O线程池Erlang runtime使用线程池异步执行I/O操作。池的大小通过VM命令行标志配置，例如128。强烈建议使用RABBITMQ\u SERVER\u ADDITIONAL\u ERL\u ARGS环境变量覆盖该标志：

RABBITMQ_SERVER_ADDITIONAL_ERL_ARGS=“A 128”默认值为30。建议具有8个或更多可用内核的节点使用大于96的值，即每个可用内核使用12个或更多I/O线程。请注意，由于等待I/O，较高的值不一定意味着更好的吞吐量或更低的CPU消耗。针对大量连接进行调优

一些工作负载，通常称为“物联网”，假设每个节点有大量客户端连接，并且来自每个节点的流量相对较低。一个这样的工作负载是传感器网络：可以部署数十万或数百万个传感器，每个传感器每几分钟发射一次数据。优化最大并发客户端数可能比优化总吞吐量更重要。

有几个因素可以限制单个节点可以支持的并发连接数：

打开的文件句柄数（包括套接字）每个连接使用的RAM数量每个连接使用的CPU资源数量

希望能有帮助