简单节点。js程序占用了所有的系统内存，并将XMLHttpRequest文件缓冲区永久写入磁盘

Question

我已经创建了一个文件共享应用程序，可以在我的家庭网络上使用。它有点类似于Google Drive或Dropbox的web界面，但没有任何文件大小上限，也没有安全性。

当通过局域网从其他连接的计算机即时传输小文件时，它可以完美地工作，但是在2GB文件上测试时发生了奇怪的事情。

我花了大约四个小时才把进度条调到50%，然后我就把它关掉了。另外，看看节点正在使用多少内存。

它将从低开始，最高可达13GB，然后转储和重启，每分钟几次。

该文件使用XMLHttpRequest从浏览器界面上传。这是前端代码必不可少的部分。

var formData = new FormData();
var file = document.getElementById("fileinput").files[0];
formData.append("file", file);

var xhr = new XMLHttpRequest();
xhr.open("post", "/fileupload", true);
xhr.send(formData);

在服务器端，有一个使用express的非常简单的处理程序，它接受req。文件夹。文件并将其直接传递到fs。writeFile将其保存到磁盘。（'req.files.file'根据console.log似乎是一种缓冲区类型，显然可以直接通过管道传输到磁盘上）。

var express = require("express");
var fileUpload = require("express-fileupload");
var app = express();
app.use(express.static("public"));
app.use(fileUpload());
var fs = require("fs");

app.post('/fileupload', function(req, res) {
    if(req.files && req.files.file){
        var file = req.files.file;
        fs.writeFile("./public/shared/" + file.name, file.data, "binary", function(err) {
            if(err) {
                res.send(err);
                return;
            }
            res.send("File uploaded successfully.");
        }); 
    }
    else{
        res.send("No file was uploaded.");
        return;
    }
});

我使用快速文件处理上传。

两台计算机都运行Windows。发送计算机正在使用Chrome。节点版本是7.5.0。

我哪里做错了？我该如何处理这个问题？

Answer 1

对于大型文件，您可能应该使用写流而不是写文件。当您使用写文件时，整个文件必须保存在内存中，因此会消耗大量内存。

这是一个不错的简短教程：http://joshondesign.com/2014/06/25/nodestreamsareawesome

node.js也有它的文档：https://nodejs.org/api/fs.html#fs_class_fs_writestream

Answer 2

查看express fileupload源代码。当文件到达时，它接收一个传入流并开始将其放入缓冲区，即内存中。完成后，通过writeFile将这个内存缓冲区写入磁盘。

express fileupload无法避免将文件存储在内存中。考虑使用<代码> Multer >代码> DISKSture< /Cord>选项：它提供：DOCS