在Python中的字符串上更改“ for each”循环的定界符

Question

我需要逐行流式读取python中的输入文本文件。这意味着将文本文件逐行而不是一次全部加载到内存中。但是我的行定界符不是空格，它们是任意字符。

这是用于逐行加载文件的方法：

with open("log.txt") as infile:
    for line in infile:
        do_something_with(line)

上面是完美的，但是我需要将定界符从空格更改为其他字符。

如何才能做到这一点？谢谢。

Answer 1

import re
def open_delimited(filename, delimiter, chunksize=1024, args, kwargs):
with open(filename,
args, **kwargs) as infile:
remainder = ‘’
for chunk in iter(lambda: infile.read(chunksize), ‘’):
pieces = re.split(delimiter, remainder+chunk)
for piece in pieces[:-1]:
yield piece
remainder = pieces[-1]
if remainder:
yield remainder

for line in open_delimited("log.txt", delimiter='/'):
    print(repr(line))