在Python中使用分隔符分割大文本文件

Question

我想像这将是一个简单的任务，但在以前的StackOverflow问题中我找不到我正在寻找的东西……

我有一个专有格式的大文本文件，看起来像这样：

:Entry
- Name
John Doe

- Date
20/12/1979
:Entry

-Name
Jane Doe
- Date
21/12/1979

依此类推。

文本文件的大小从10kb到100mb不等。我需要用:Entry定界符分割此文件。如何基于:Entry块处理每个文件？

Answer 1

您可以使用itertools.groupby对:Entry列表中出现的行进行分组：

import itertools as it
filename='test.dat'

with open(filename,'r') as f:
    for key,group in it.groupby(f,lambda line: line.startswith(':Entry')):
        if not key:
            group = list(group)
            print(group)

产量

['- Name\n', 'John Doe\n', '\n', '- Date\n', '20/12/1979\n']
['\n', '-Name\n', 'Jane Doe\n', '- Date\n', '21/12/1979\n']

或者，要处理组，您实际上不需要转换group为列表：

with open(filename,'r') as f:
    for key,group in it.groupby(f,lambda line: line.startswith(':Entry')):
        if not key:
            for line in group:
                ...