在Node.js中执行并行处理的最佳方法

Question

我正在尝试编写一个小型节点应用程序，该应用程序将搜索并解析文件系统上的大量文件。为了加快搜索速度，我们尝试使用某种类型的map
reduce。该计划将是以下简化方案：

• Web请求带有搜索查询
• 启动3个进程，每个进程分配1000个（不同）文件
• 进程完成后，它将“返回”结果回到主线程
• 一旦所有进程完成，主线程将通过返回组合结果作为JSON结果来继续

我对此有以下疑问： 这在Node中可行吗？ 推荐的做法是什么？

我一直在摆弄，但接下来没有使用Process的示例了：

发起人：

function Worker() { return child_process.fork("myProcess.js); }
for(var i = 0; i < require('os').cpus().length; i++){
        var process = new Worker();
        process.send(workItems.slice(i * itemsPerProcess, (i+1) * itemsPerProcess));
}

myProcess.js

process.on('message', function(msg) {
    var valuesToReturn = [];
    // Do file reading here
    //How would I return valuesToReturn?
    process.exit(0);
}

旁注：

• 我知道进程数应取决于服务器上的CPU数
• 我也知道文件系统中的速度限制。在将其移至数据库或Lucene实例之前，请先考虑一下概念证明：-)

Answer 1

应该可行。作为一个简单的例子：

// parent.js
var child_process = require('child_process');

var numchild  = require('os').cpus().length;
var done      = 0;

for (var i = 0; i < numchild; i++){
  var child = child_process.fork('./child');
  child.send((i + 1) * 1000);
  child.on('message', function(message) {
    console.log('[parent] received message from child:', message);
    done++;
    if (done === numchild) {
      console.log('[parent] received all results');
      ...
    }
  });
}

// child.js
process.on('message', function(message) {
  console.log('[child] received message from server:', message);
  setTimeout(function() {
    process.send({
      child   : process.pid,
      result  : message + 1
    });
    process.disconnect();
  }, (0.5 + Math.random()) * 5000);
});

因此，父进程产生X个子进程，并向其传递消息。它还安装了一个事件处理程序，以侦听从子级发送回的任何消息（例如，结果）。

子进程等待来自父进程的消息，然后开始处理（在这种情况下，它只是启动一个具有随机超时的计时器来模拟正在完成的工作）。完成后，它将结果发送回父进程，并用于process.disconnect()将自身与父进程断开连接（基本上停止子进程）。

父进程跟踪已启动的子进程的数量以及已发回结果的子进程的数量。当这些数字相等时，父级从子级进程接收所有结果，因此它可以合并所有结果并返回JSON结果。