pymongo.errors.CursorNotFound：游标ID“ ...”在服务器上无效

Question

我正在尝试使用以下代码获取mongo数据库中存在的一些ID：

client = MongoClient('xx.xx.xx.xx', xxx)
db = client.test_database
db = client['...']
collection = db.test_collection
collection = db["..."]


for cursor in collection.find({ "$and" : [{ "followers" : { "$gt" : 2000 } }, { "followers" : { "$lt" : 3000 } }, { "list_followers" : { "$exists" : False } }] }): 
    print cursor['screenname']
    print cursor['_id']['uid']
    id = cursor['_id']['uid']

但是，过了一会儿，我收到此错误：

pymongo.errors.CursorNotFound：游标ID’…’在服务器上无效。

我发现这篇文章提到了这个问题。不过，我不清楚该采取哪种解决方案。可以使用find().batch_size(30)吗？上面的命令到底是做什么的？我可以使用所有数据库IDbatch_size吗？

Answer 1

由于光标在服务器上超时（不活动10分钟后），因此出现此错误。

从pymongo文档中：

如果MongoDB中的游标已打开很长时间而未对其执行任何操作，则它们可能会在服务器上超时。尝试迭代游标时，这可能导致引发CursorNotFound异常。

当您调用该collection.find方法时，它查询一个集合，并将光标返回到文档。要获取文档，请迭代光标。当您遍历游标时，驱动程序实际上是在向MongoDB服务器发出请求以从服务器获取更多数据。每个请求中返回的数据量由batch_size()方法设置。

从文档中：

限制一批中返回的文档数。每个批次都需要往返服务器。可以对其进行调整以优化性能并限制数据传输。

将batch_size设置为较小的值将帮助您解决超时错误错误，但是它将增加访问MongoDB服务器获取所有文档的次数。

默认批处理大小：

对于大多数查询，第一批返回101个文档或刚好超过1兆字节的文档。批处理大小不会超过BSON文档的最大大小（16 MB）。

没有通用的“正确”批次大小。您应该使用不同的值进行测试，并查看适合您的用例的合适值，即在10分钟的窗口中可以处理多少个文档。

不得已而为您no_cursor_timeout=True。但是，您需要确保在处理完数据后关闭游标。

如何避免以下情况try/except：

cursor = collection.find(
     {"x": 1},
     no_cursor_timeout=True
)
for doc in cursor:
    # do something with doc
cursor.close()