读取一个大型文本文件，并使用Python写入另一个文件
我正在尝试转换一个大的文本文件（大小为5 gig），但得到了一个从这篇文章中，我设法将文本文件的编码格式转换为可读的格式：
path ='path/to/file'
des_path = 'path/to/store/file'
for filename in os.listdir(path):
with open('{}/{}'.format(path, filename), 'r+', encoding='iso-8859-11') as f:
t = open('{}/{}'.format(des_path, filename), 'w')
string = f.read()
t.write(string)
t.close()
这里的问题是，当我试图转换一个大尺寸(5 GB)的文本文件时。我会得到这个错误
Traceback (most recent call last):
File "Desktop/convertfile.py", line 12, in <module>
string = f.read()
File "/usr/lib/python3.6/encodings/iso8859_11.py", line 23, in decode
return codecs.charmap_decode(input,self.errors,decoding_table)[0]
MemoryError
我知道它无法读取这么大的文件。我从几个链接中发现，我可以逐行阅读。
那么，我如何应用于我必须让它逐行读取的代码呢？我对逐行读取的理解是，我需要从f中读取一行，并将其添加到t中，直到行尾，对吗？
共有1个答案
可以在打开文件的行上迭代。
for filename in os.listdir(path):
inp, out = open_files(filename):
for line in inp:
out.write(line)
inp.close(), out.close()
请注意，我在一个函数中隐藏了不同路径、编码、模式的复杂性，我建议您实际编写……
重新缓冲，即读取/写入更大的文本块，Python做自己的缓冲卧底，所以对于更复杂的解决方案来说，这应该不会太慢。
-
我有一个巨大的文件（2GB），其中只包含员工编号。我必须阅读此文件，获取员工号码并调用数据库以获取员工的工资，然后将其写入另一个文件中，并将员工姓名和工资作为其行。 现在的问题是，通过直接读取这个巨大的文件通过简单的nio在java我的STS内存溢出或它需要4-5小时来完成整个读-取-写过程。 所以我想用Java并发来拯救我。 为此，我有一个实现Runnable的EmployeeDetails类，
-
档案员。txt包含两类员工的详细信息，即月薪和小时津贴。如果是月薪员工，则该文件包含名字、姓氏、性别、职级、类型和基本工资，如果是小时薪员工，则包含小时工资和工作小时数。该文件的示例如下所示： 约翰·史密斯M经理每月45000.00 Sunil Bates M高级每小时700.00 45 梁爱娃F警官每月30500.00 我要写一个程序，会看每个员工，计算奖金占基本工资的百分比，对于一个按小时计酬
-
问题内容： 我想将某些文本行从一个文本文件复制到另一个文件。在我当前的脚本中，当我搜索字符串时，它会随后复制所有内容，如何只复制文本的特定部分？例如，仅在其中包含“ tests / file / myword”的情况下才复制行？ 当前代码： 问题答案： 单线： 推荐搭配： 使用更少的内存：
-
我有从多个文件读取并写入多个文件的Spring批处理配置。是否可以只写入从多个读取的一个文件。假设我收到巨大的XML文件，我将XML拆分为小文件并使用分区器并行读取小文件。但我需要将从不同的小xml文件读取的所有数据写入一个输出文件。Spring批处理是否可以做到这一点？我知道通过使写入器同步是可能的，但我正在寻找任何其他可能的方式作业配置 我得到错误组织。springframework。一批项目
-
问题内容： 假设我们有许多文本文件，如下所示： 文件1： 文件2： 文件3： 文件4： 我们如何制作一个文本文件，如下所示： 结果： 相关代码可能是： 在这之后？有什么帮助吗？ 问题答案： 您可以将每个文件的内容直接读取到输出文件句柄的write方法中，如下所示：
-
问题内容： 我有一个带有汉字文本的文件，我想将这些文本复制到另一个文件中。但是文件输出混乱了中文字符。注意，在我的代码中，我已经在使用“ UTF8”作为编码了： 问题答案： 在这种情况下，请勿使用FileReader，因为它不允许您指定输入编码。在FileInputStream上构造一个InputStreamReader。 像这样：