如何在不读取整行或整个文件的情况下读取令牌

Question

是否有一种隐藏的方法可以在 不 读取整行的 情况下
从文件或类似文件的对象读取令牌？我立即拥有的应用程序（其他人的问题，不是我的问题）正在将具有几个非常长的行的大型矩阵转置，本质上是itertools.izip()对选择单个列元素的迭代器执行操作。这个想法不是在迭代过程中将整个文件存储在内存中。

这些行是用空格分隔的ASCII十进制数字。

对于Java的Scanner类，问题可能很简单，但我没有在Python标准库中看到没有将整个输入都放在字符串中就进行标记化的任何内容。

作为记录，我知道如何独自编写。我只是想知道是否有一个我错过的标准工具。可以轻松安装的FOSS /自由软件也很好，但是我在PYPI上也看不到任何东西。

完整的问题是采用样本输入：

"123 3 234234 -35434 112312 54 -439 99 0 42\n" +
"13 456 -78 910 333 -44 5555 6 8"

…并产生输出（作为生成器，而无需立即将所有非常长的行读入内存：

[123, 13], [3, 456], [234234, -78], ...etc

正如我所说的，它实际上是itertools.izip（iterator1，iterator2），将iterator1指向文件的开头，而iterator2刚经过换行符以读取第二行。

Answer 1

从文件中逐个读取令牌；您可以使用re模块从内存映射文件生成令牌：

#!/usr/bin/env python3
import re
import sys
from mmap import ACCESS_READ, mmap

def generate_tokens(filename, pattern):
    with open(filename) as f, mmap(f.fileno(), 0, access=ACCESS_READ) as mm:
         yield from re.finditer(pattern, mm)

# sum all integers in a file specified at the command-line
print(sum(int(m.group()) for m in generate_tokens(sys.argv[1], br'\d+')))

即使文件不适合内存，它也可以工作。