GridFS大文件下载使节点崩溃。js服务器。MongoServerError:排序超出了字节的内存限制

Question

所以我在运行一个节点。js服务器和mongoose，我一直试图使用GridFS节点包下载一个大文件，但我一直收到以下错误：

MongoServerError：find命令：：期间执行器错误，原因是：：Sort超出了104857600字节的内存限制，但未选择外部排序。

下面是我用来下载文件的代码：

// Stream a single file. 
router.get('/stream/:filename', async function(req, res, next){
    try{        
        const file = gfs.find({
            filename: req.params.filename
        }).toArray((err, files) => {
        if (!files || files.length === 0) {
            return res.status(404)
            .json({
                err: "no files exist"
            });
        }

        gfs.openDownloadStreamByName(req.params.filename)
            .pipe(res);
        });
    }catch(err){
        return res.status(400).json({
            err:'Could not fetch the file.'
        })
    }
}); 

鉴于在 StackOverflow 上回答您自己的问题是可以的，我想记录这个问题，以便我的解决方案可以帮助其他人以后遇到它。

Answer 1

事实证明，当您使用GridFS流式下载文件时，组成文件的文档会被排序。根据这篇博文，在进行排序时，MongoDB首先尝试使用索引中指定的顺序检索文档。当没有可用的索引时，它会尝试将文档加载到内存中并在那里进行排序。

问题是Mongo默认配置为在超过32 MB的使用量时中止操作。这就是为什么我们会遇到上面描述的“排序超过内存限制”错误。为了解决这个问题，您必须为“n”字段创建一个索引，其中包含您要下载的文件块的顺序。为此，您可以直接通过数据库界面创建索引（我使用MongoDB Compass GUI），也可以使用createindex（）方法通过代码创建它：

// Create an index for the 'n' field to help sort the chunks collection.
db.collection('files.chunks').createIndex({n: 1});