使用socket.io+node.js+ZMQ发送消息时的内存泄漏

Question

我有三个申请互相交谈。websocket服务器(1)，它接受来自浏览器的连接，解析url以查看需要什么数据，如果客户机内存中有数据，则将其提供给客户机，如果没有数据，则从另一个称为“Fetcher”（2）的应用程序中请求数据。Fetcher接收此作业，从返回JSON数据的简单API(3)请求它，并将其发送回websocker服务器，后者将其发布给连接的客户机。然后“Fetcher”开始定期检查该URL/作业是否有更新，并在更新时将新数据发送到websocket服务器。

我使用socket.io进行客户端与WebSocket服务器之间的通信。Websocket服务器和提取器通过ZMQ套接字进行对话。

我用130个连接加载测试websocket服务器。Websocket服务器每秒向130个客户端发布160KB的数据。开始时，130个连接使用170MB的RAM，但很快增加到1GB，尽管没有新的连接。然后socket.io的心跳信号开始失效，导致连接断开。

我使用Nodetime拍摄堆快照。在第130个客户端连接之后，内存的外观如下所示：

346个缓冲区对象，总共44MB。

在四分钟内，缓冲区对象的数量急剧增加（同样，没有新的连接）：有3012个对象，总内存为486MB。再过10分钟，它们中有3535个，总内存消耗为573MB。

function notifyObservers(resourceId) {
  var data = resourceData[resourceId];
  io.sockets.in(resourceId).emit('data', data);
}

// Receive new resource data
const resourceUpdatedSubscriber = zmq.socket('sub').connect('tcp://localhost:5433');
resourceUpdatedSubscriber.subscribe('');

resourceUpdatedSubscriber.on('message', function (data) {
  var resource = JSON.parse(data);

  resourceData[resource.id] = resource.data;

  io.sockets.in(resourceId).emit('data', resourceData[resource.id]);
});

Answer 1

NodeJs可以使用Windows Socket API（其中包括内存泄漏，旧的已知错误）https://connect.microsoft.com/visualstudio/feedback/details/605621/winsock-c-program-cause-memory-leak

问题是，在关闭网络服务之前，WSACleanup永远不会被调用。（混淆ZMq或Nodejs不会改变这一事实）

现在，随着时间的推移，您将锁定更多的内存页，并且在第一个内存页已满后，这种情况会增加。