如何在不使用阻塞stdio的情况下从node.js的子进程传输大数据/向子进程传输大数据？

Question

我在node.js中有一堆（子）进程，它们需要传输大量数据。

当我阅读该手册时，会说它们之间的stdio和ipc接口已阻塞，因此不会起作用。

我正在研究使用文件描述符，但是我找不到从它们流式传输的方法（请参阅我的其他更具体的问题，如何在node中的文件描述符中流式传输/？

我想我可能会使用网络插座，但是我担心会有不必要的开销。

Answer 1

我找到了一个似乎有效的解决方案：生成子进程时，您可以传递选项stdio并设置管道以流式传输数据。

诀窍是添加一个附加元素，并将其设置为“ pipe”。

在 父 流程中流向child.stdio[3]。

var opts = {
    stdio: [process.stdin, process.stdout, process.stderr, 'pipe']
};
var child = child_process.spawn('node', ['./child.js'], opts);

// send data
mySource.pipe(child.stdio[3]);

//read data
child.stdio[3].pipe(myHandler);

在文件描述符的 子 打开流中3。

// read from it
var readable = fs.createReadStream(null, {fd: 3});

// write to it
var writable = fs.createWriteStream(null, {fd: 3});

请注意，并非您从npm获得的每个流都可以正常工作，我尝试了JSONStream.stringify()一下，但是创建了错误，但是在通过管道传输了它之后，它仍然可以工作through2。（不知道为什么）。

编辑：一些观察：似乎该管道并不总是双工流，因此您可能需要两个管道。在某些情况下，只有在我也有一个ipc通道的情况下，它才起作用，所以总有6种：[stdin，stdout，stderr，pipe，pipe，ipc]，这是一件奇怪的事情。