为什么 mongodb 按_id排序比按任何其他索引字段排序快得多？

Question

我正试图通过单个字段对一个包含数百万行的集合进行完全排序。据我所知，ObjectId包含4个字节的时间戳。我的时间戳是4字节整数索引字段。所以我认为sort by _id和timestamp应该是相似的，但是下面是结果

db.coll.find().sort("_id", pymongo.ASCENDING)
# takes 25 minutes to run

和

db.coll.find().sort("timestamp", pymongo.ASCENDING)
# takes 2 hours to run

为什么会发生这种情况，这里有优化的方法吗？谢谢

更新

正如我指出的，我试图排序的时间戳字段已经被索引

馆藏统计

"size" : 55881082188,
"count" : 126048972,
"avgObjSize" : 443,
"storageSize" : 16998031360,
"capped" : false,
"nindexes" : 2,
"totalIndexSize" : 2439606272,

我致力于mongob进程4gb的ram（试图增加到8gb，但速度没有增加）

更新2

事实证明，有多少字段顺序排序遵循插入（自然）顺序，因此排序速度更快

我试图

db.new_coll.create_index([("timestamp", pymongo.ASCENDING)])
for el in db.coll.find().sort("timestamp", pymongo.ASCENDING):
    del el['_id']
    db.new_coll.insert(el)

# and now
db.new_coll.find().sort("timestamp", pymongo.ASCENDING)
# takes 25 minutes vs 2 hours as in previous example

Answer 1

索引。

当使用MongoDB sort()方法时，可以为结果集指定排序顺序——升序(1)或降序(-1)。如果没有对排序字段进行索引，MongoDB将在查询时对结果进行排序。查询时排序会占用CPU资源，并延迟对应用程序的响应。但是，当一个索引包含了所有用于选择和排序结果集的字段时，MongoDB不需要在查询时进行排序。相反，结果已经在索引中排序，并且可以立即返回。

请在此处查看更多详细信息。https://mobile.developer.com/db/indexing-tips-for-improving-your-mongodb-performance.html

https://docs . MongoDB . com/manual/tutorial/sort-results-with-indexes/

Answer 2

_id字段是自动创建的，它在将文档插入MongoDB数据库集合时存储一个12字节的ObjectId值，表示属于集合的BSON文档的唯一值。

根据MongoDB的文档

The 12-byte ObjectId value consists of:

a 4-byte value representing the seconds since the Unix epoch,
a 3-byte machine identifier,
a 2-byte process id, and
a 3-byte counter, starting with a random value.

在集合的字段上定义的索引加速了存储在数据库集合中的数据的检索过程，因为属于索引字段的值被排序为特定的排序顺序，并且一旦找到匹配值就停止扫描文档，从而最小化要扫描的文档数量。

在创建集合期间，在_id字段上定义了唯一索引，因此，按_id字段对数据进行排序有助于从集合中快速检索数据。

Answer 3

由于字段值的生成方式，按_id排序速度更快_id。

文档中的单词

驱动程序以上述方式生成ObjectId的主要原因之一是，由于排序的工作方式，它包含一个有用的行为。鉴于它包含一个4字节的时间戳（秒的分辨率）和一个递增计数器以及一些更独特的标识符，如机器ID一次，可以使用_id字段按创建顺序对文档进行排序，只需在_id字段上进行排序。如果您希望跟踪文档的创建时间，这对于节省额外时间戳所需的空间很有用。

我还尝试解释查询，并注意到当使用_id完成排序时，nscannedObject和nscannedObjectsAllPlans为0。

> db.coll.find({},{_id:1}).sort({_id:1}).explain();
{
        "cursor" : "BtreeCursor _id_",
        "isMultiKey" : false,
        "n" : 353,
        "nscannedObjects" : 0,
        "nscanned" : 353,
        "nscannedObjectsAllPlans" : 0,
        "nscannedAllPlans" : 353,
        "scanAndOrder" : false,
        "indexOnly" : true,
        "nYields" : 2,
        "nChunkSkips" : 0,
        "millis" : 0,
        "indexBounds" : {
                "_id" : [
                        [
                                {
                                        "$minElement" : 1
                                },
                                {
                                        "$maxElement" : 1
                                }
                        ]
                ]
        },
        "server" : "server",
        "filterSet" : false
}