MongoDB：如何在100个集合中找到10个随机文档？

Question

MongoDB是否能够在不进行多次查询的情况下资助大量随机文档？

e、 g.我在加载集合中的所有文档后在JS端实现，这很浪费-因此，我只想检查一下，是否可以通过一个db查询更好地实现这一点？

我在JS方面所走的道路：

• 获取所有数据
• 制作一个ID数组
• 洗牌ID数组（随机顺序）
• 将数组拼接到所需的文档数
• 通过按ID选择它们来创建文档列表，我们在之前的两次操作后留下了这些ID，一个接一个地从整个集合中

两个主要缺点是我加载了所有数据，或者我进行了多次查询。

非常感谢任何建议

Answer 1

这是我最后想到的：

var numberOfItems = 10;


// GET LIST OF ALL ID's
SchemaNameHere.find({}, { '_id': 1 }, function(err, data) {

    if (err) res.send(err);

    // shuffle array, as per here  https://github.com/coolaj86/knuth-shuffle
    var arr = shuffle(data.slice(0));

    // get only the first numberOfItems of the shuffled array
    arr.splice(numberOfItems, arr.length - numberOfItems);

    // new array to store all items
    var return_arr = [];

    // use async each, as per here http://justinklemm.com/node-js-async-tutorial/
    async.each(arr, function(item, callback) {

        // get items 1 by 1 and add to the return_arr
        SchemaNameHere.findById(item._id, function(err, data) {

            if (err) res.send(err);
            return_arr.push(data);

            // go to the next one item, or to the next function if done
            callback();

        });

    }, function(err) {

        // run this when looped through all items in arr
        res.json(return_arr);

    });

});

Answer 2

从3.2开始，有一种更简单的方法可以从集合中获取随机文档样本：

$3.2版中的新示例。

从其输入中随机选择指定数量的文档。

$example阶段具有以下语法：

{$样本：{大小：

来源：MongoDB文档

在这种情况下：

db.products.aggregate([{$sample: {size: 10}}]);

Answer 3

这在很久以前就得到了回答，从那时起，MongoDB有了很大的发展。

如另一个答案所示，自3.2版以来，MongoDB现在支持在聚合框架内进行采样：

您可以这样做：

db.products.aggregate([{$sample: {size: 5}}]); // You want to get 5 docs

或：

db.products.aggregate([
  {$match: {category:"Electronic Devices"}}, // filter the results
  {$sample: {size: 5}} // You want to get 5 docs
]);

但是，对于$sample运算符有一些警告：

（截至2017年11月6日，最新版本为3.4）=

• $sample是管道的第一阶段

如果不满足上述任何条件，$sample执行收集扫描，然后进行随机排序，以选择N个文档。

就像上一个例子中的$match

旧答案

你可以一直跑步：

db.products.find({category:"Electronic Devices"}).skip(Math.random()*YOUR_COLLECTION_SIZE)

但是顺序不会是随机的，你需要两个查询（一个计数来获得YOUR_COLLECTION_SIZE）或估计它有多大（大约100条记录，大约1000条，大约10000条...）

您还可以向所有带有随机数的文档添加一个字段，并按该数字进行查询。这里的缺点是每次运行相同的查询都会得到相同的结果。为了解决这个问题，您可以始终使用限制和跳过甚至排序。您也可以在每次获取记录时更新这些随机数（意味着更多查询）。

--我不知道您是在使用Mongoose、Mondoid还是直接使用Mongo驱动程序来实现任何特定的语言，所以我将写下所有关于MongoShell的内容。

因此，假设您的产品记录如下所示：

{
 _id: ObjectId("..."),
 name: "Awesome Product",
 category: "Electronic Devices",
}

我建议使用：

{
 _id: ObjectId("..."),
 name: "Awesome Product",
 category: "Electronic Devices",
 _random_sample: Math.random()
}

然后你可以做：

db.products.find({category:"Electronic Devices",_random_sample:{$gte:Math.random()}})

然后，您可以定期运行，以便定期更新文档的\u random\u样本字段：

var your_query = {} //it would impact in your performance if there are a lot of records
your_query = {category: "Electronic Devices"} //Update 
//upsert = false, multi = true
db.products.update(your_query,{$set:{_random_sample::Math.random()}},false,true)

或者只是每当您检索一些记录时，您可以更新所有记录或仅更新少数记录（取决于您检索了多少记录）

for(var i = 0; i < records.length; i++){
   var query = {_id: records[i]._id};
   //upsert = false, multi = false
   db.products.update(query,{$set:{_random_sample::Math.random()}},false,false);
}

编辑

请注意

db.products.update(your_query,{$set:{_random_sample::Math.random()}},false,true)

不会很好地工作，因为它会用相同的随机数更新与您的查询匹配的每个产品。最后一种方法效果更好（在检索某些文档时更新它们）