如何在Windows上使用Python处理包含EOF / Ctrl-Z字符的巨大文本文件？

Question

我有许多需要使用Python脚本处理的大型逗号分隔文本文件（最大约为15GB）。问题是文件中间偶尔包含DOS
EOF（Ctrl-Z）字符。（不要问我为什么，我没有生成它们。）另一个问题是文件在Windows计算机上。

在Windows上，当我的脚本遇到这些字符之一时，它假定它位于文件末尾并停止处理。由于各种原因，不允许将文件复制到任何其他计算机。但是我仍然需要处理它们。

到目前为止，这是我的想法：

1. 以二进制模式读取文件，抛出等于的字节chr(26)。这会起作用，但是大约需要永远。
2. 使用类似的sed方法消除EOF字符。不幸的是，据我所知，sed在Windows上存在相同的问题，并且在看到EOF时将退出。
3. 使用某种Notepad程序并进行查找和替换。但是事实证明，Notepad-type程序不能很好地处理15GB的文件。

我的IDEAL解决方案是通过某种方式将文件读取 为文本， 而忽略Ctrl-Z字符。是否有合理的方法来做到这一点？

Answer 1

使用Python删除DOS EOF字符很容易。例如，

def delete_eof(fin, fout):
    BUFSIZE = 2**15
    EOFCHAR = chr(26)
    data = fin.read(BUFSIZE)
    while data:
        fout.write(data.translate(None, EOFCHAR))
        data = fin.read(BUFSIZE)

import sys
ipath = sys.argv[1]
opath = ipath + ".new"
with open(ipath, "rb") as fin, open(opath, "wb") as fout:
    delete_eof(fin, fout)

该操作将文件路径作为第一个参数，然后将文件复制但不带chr(26)字节到.new附加的相同文件路径。摆弄口味。

顺便说一句，您 确定 DOS EOF字符是您唯一的问题吗？很难想象有一种合理的方式可以将它们最终存储在 旨在 被视为文本文件的文件中。