如何在不将其全部读入内存的情况下对整个文件进行重新搜索或重新匹配？

Question

我希望能够在整个文件上运行正则表达式，但是我希望不必一次将整个文件读入内存，因为将来我可能会处理相当大的文件。有没有办法做到这一点？谢谢！

说明： 我无法逐行阅读，因为它可能跨越多行。

Answer 1

您可以使用mmap将文件映射到内存。然后可以像普通字符串一样访问文件内容：

import re, mmap

with open('/var/log/error.log', 'r+') as f:
  data = mmap.mmap(f.fileno(), 0)
  mo = re.search('error: (.*)', data)
  if mo:
    print "found error", mo.group(1)

这也适用于大文件，文件内容根据需要从磁盘内部加载。