在MongoDB中查找最大文档大小

Question

是否可以在MongoDB中找到最大的文档大小？

db。收集stats（）显示的是平均大小，这并不具有代表性，因为在我的例子中，大小可能会有很大差异。

Answer 1

使用聚合框架和关于集合中文档的一点点知识，在MongoDB集合中查找最大的文档可能比其他答案快约100倍。此外，您将在几秒钟内获得结果，而其他方法只需几分钟（foreach，或者更糟的是，将所有文档发送到客户端）。

您需要知道文档中的哪些字段可能是最大的字段—您几乎总是知道的。只有两种实用的¹MongoDB类型可以具有不同的大小：

• 阵列
• 弦

聚合框架可以计算每个节点的长度。请注意，数组的大小不是以字节为单位的，而是以元素为单位的长度。然而，更重要的是异常值文档是什么，而不是它们占用多少字节。

下面是数组的操作方法。举个例子，假设我们在社交网络中有一个用户集合，我们怀疑数组friends.ids可能非常大（实际上，您可能应该保持一个单独的字段，如朋友计数与数组，但为了举例，我们假设它不可用）：

db.users.aggregate([
    { $match: {
        'friends.ids': { $exists: true }
    }},
    { $project: { 
        sizeLargestField: { $size: '$friends.ids' } 
    }},
    { $sort: {
        sizeLargestField: -1
    }},
])

关键是使用$size聚合管道运算符。它只适用于数组，那么文本字段呢？我们可以使用$strLenBytes运算符。假设我们怀疑bio字段也可能非常大：

db.users.aggregate([
    { $match: {
        bio: { $exists: true }
    }},
    { $project: { 
        sizeLargestField: { $strLenBytes: '$bio' } 
    }},
    { $sort: {
        sizeLargestField: -1
    }},
])

您还可以使用$sum组合$size和$strLenBytes来计算多个字段的大小。在绝大多数情况下，20%的字段将占据80%的大小（如果不是10/90甚至1/99），并且大字段必须是字符串或数组。

^{1从技术上讲，很少使用的binData类型也可以具有可变大小}

Answer 2

注意：这将尝试将整个结果集存储在内存中（从. toArray）。小心大数据集。请勿在生产中使用！Abishek的答案具有在光标上工作而不是在内存阵列上工作的优势。

如果你还想要_id，试试这个。给定一个名为“请求”的集合：

// Creates a sorted list, then takes the max
db.requests.find().toArray().map(function(request) { return {size:Object.bsonsize(request), _id:request._id}; }).sort(function(a, b) { return a.size-b.size; }).pop();

// { "size" : 3333, "_id" : "someUniqueIdHere" }

Answer 3

可以使用小型外壳脚本获取此值。

注意：这将执行全表扫描，这在大型集合中会很慢。

let max = 0, id = null;
db.test.find().forEach(doc => {
    const size = Object.bsonsize(doc); 
    if(size > max) {
        max = size;
        id = doc._id;
    } 
});
print(id, max);