输入文件过大导致内存错误

Question

当我使用以下代码读取文件时：

lines=file("data.txt").read().split("\n")

我有以下错误

MemoryError

文件大小是

ls -l
-rw-r--r-- 1 charlie charlie 1258467201 Sep 26 12:57 data.txt

Answer 1

显然，文件太大，无法一次全部读入内存。

为什么不使用：

with open("data.txt") as myfile:
    for line in myfile:
        do_something(line.rstrip("\n"))

或者，如果您未使用Python 2.6和更高版本，则：

myfile = open("data.txt")
for line in myfile:
    do_something(line.rstrip("\n"))

在这两种情况下，您都将获得一个迭代器，该迭代器可以像对待字符串列表一样对待。

编辑：由于您将整个文件读取为一个大字符串然后在换行符上进行拆分的方式将删除过程中的换行符，因此我在.rstrip("\n")示例中添加了a
，以便更好地模拟结果。