pymongo光标“触摸”以避免超时

Question

我需要从mongo（v3.2.10）集合（使用Pymongo 3.3.0）中获取大量（例如1亿）文档并迭代它们。迭代需要几天时间，我经常遇到由于游标超时而导致的异常。

在我的例子中，我需要在迭代时睡上不可预知的时间。例如，我可能需要：-获取10个文档-睡眠1秒-获取1000个文档-睡眠4小时-获取1个文档等

我知道我可以：

• 完全禁用超时，但如果可能的话，我希望避免这种情况，因为如果我的代码完全停止运行，为我清理游标会很好

似乎一个好的解决方案是“触摸”光标使其保持活动状态。例如，我会将长时间的睡眠分解为较短的时间间隔，并在每个时间间隔之间触摸光标。

我没有看到通过皮蒙戈做到这一点的方法，但我想知道是否有人确切知道这是否可能。

Answer 1

对我来说，甚至没有no\u cursor\u timeout=True起作用，所以我创建了一个函数，将光标中的数据保存到一个临时文件中，然后从文件中将文档返回给调用者。

from tempfile import NamedTemporaryFile
import pickle
import os

def safely_read_from_cursor(cursor):
    # save data in a local file
    with NamedTemporaryFile(suffix='.pickle', prefix='data_', delete=False) as data_file, cursor:
        for count, doc in enumerate(cursor, 1):
            pickle.dump(doc, data_file)

    # open file again and iterate over data
    with open(data_file.name, mode="rb") as data_file:
        for _ in range(count):
            yield pickle.load(data_file)

    # remove temporary file
    os.remove(data_file.name)

Answer 2

当然，这是不可能的，你想要的是功能SERVER-6036，这是未实现的。

对于这样一个长时间运行的任务，我建议对索引字段进行查询。例如，如果您的文档都有时间戳“ts”：

documents = list(collection.find().sort('ts').limit(1000))
for doc in documents:
    # ... process doc ...

while True:
    ids = set(doc['_id'] for doc in documents)
    cursor = collection.find({'ts': {'$gte': documents[-1]['ts']}})
    documents = list(cursor.limit(1000).sort('ts'))
    if not documents:
        break  # All done.
    for doc in documents:
        # Avoid overlaps
        if doc['_id'] not in ids:
            # ... process doc ...

这段代码完全迭代光标，因此它不会超时，然后处理1000个文档，然后在接下来的1000个文档中重复。

第二个想法：使用很长的游标超时来配置服务器：

mongod --setParameter cursorTimeoutMillis=21600000  # 6 hrs

第三个想法：您可以更确定，尽管不是完全确定，您将通过在带有语句的中使用非超时游标来关闭它：

cursor = collection.find(..., no_cursor_timeout=True)
with cursor:
    # PyMongo will try to kill cursor on server
    # if you leave this block.
    for doc in cursor:
        # do stuff....