Python：在文件中找到regexp

Question

有：

f = open(...)  
r = re.compile(...)

需要：
在大文件中找到第一个匹配的正则表达式的位置（开始和结束）？
（从开始current_pos=...）

我怎样才能做到这一点？

我想要这个功能：

def find_first_regex_in_file(f, regexp, start_pos=0):  
   f.seek(start_pos)

   .... (searching f for regexp starting from start_pos) HOW?

   return [match_start, match_end]

文件“ f”应该很大。

Answer 1

搜索大文件的一种方法是使用mmap库将文件映射到大内存块中。然后，您可以搜索它，而不必显式阅读它。

例如，类似：

size = os.stat(fn).st_size
f = open(fn)
data = mmap.mmap(f.fileno(), size, access=mmap.ACCESS_READ)

m = re.search(r"867-?5309", data)

这对于非常大的文件非常有效（我已经为30+ GB的文件完成了此操作，但是如果您的文件超过一两个GB，则需要64位操作系统）。