Python基于read(size)方法读取超大文件
pyhon读取文件很方便,但是,如果文件很大,而且还是一行文件,那就蛋疼了. 不过还好有read(size)方法,这个方法就是每次读取size大小的数据到内存中
下面来个示例
def readlines(f, separator):
'''
读取大文件方法
:param f: 文件句柄
:param separator: 每一行的分隔符
:return:
'''
buf = ''
while True:
while separator in buf:
position = buf.index(separator) # 分隔符的位置
yield buf[:position] # 切片, 从开始位置到分隔符位置
buf = buf[position + len(separator):] # 再切片,将yield的数据切掉,保留剩下的数据
chunk = f.read(4096) # 一次读取4096的数据到buf中
if not chunk: # 如果没有读到数据
yield buf # 返回buf中的数据
break # 结束
buf += chunk # 如果read有数据 ,将read到的数据加入到buf中
with open('text.txt',encoding='utf-8') as f:
for line in readlines(f,'|||'):
# 为什么readlines函数能够使用for循环遍历呢, 因为这个函数里面有yield关键字呀, 有它就是一个生成器函数 ......
print(line)
测试文件text.txt
fgshfsljflsjfls|||fyhdiyfdfhn|||fudofdb钦铁杆jdlfdl|||tedsthfdskfdk
打印结果
fgshfsljflsjfls
fyhdiyfdfhn
fudofdb钦铁杆jdlfdl
tedsthfdskfdk
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持小牛知识库。
-
本文向大家介绍python简单读取大文件的方法，包括了python简单读取大文件的方法的使用技巧和注意事项，需要的朋友参考一下 本文实例讲述了python简单读取大文件的方法。分享给大家供大家参考，具体如下： Python读取大文件（GB级别）采用的办法很简单： 例如： 一切都交给python解释器处理，读取效率很高，且占用资源少。 stackoverflow参考链接：How to read la
-
本文向大家介绍Java基于IO流读取文件的方法，包括了Java基于IO流读取文件的方法的使用技巧和注意事项，需要的朋友参考一下 本文实例讲述了Java基于IO流读取文件的方法。分享给大家供大家参考，具体如下： 希望本文所述对大家Java程序设计有所帮助。
-
问题内容： 我有一个很大的文件4GB，当我尝试读取它时，我的计算机挂起了。因此，我想逐个读取它，并且在处理完每个块之后，将已处理的块存储到另一个文件中并读取下一个块。 这些零件有什么方法吗？ 我很想有一个简单的方法。 问题答案： 要编写一个简单函数，只需使用： 另一个选择是使用和辅助功能： 如果文件是基于行的，则文件对象已经是行的惰性生成器：
-
本文向大家介绍基于python读取.mat文件并取出信息，包括了基于python读取.mat文件并取出信息的使用技巧和注意事项，需要的朋友参考一下 这篇文章主要介绍了基于python读取.mat文件并取出信息,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 导入所需包 读取.mat文件 随便从下面文件里读取一个： 读出来的m内容： 取出.mat里所
-
本文向大家介绍Python按行读取文件的实现方法【小文件和大文件读取】，包括了Python按行读取文件的实现方法【小文件和大文件读取】的使用技巧和注意事项，需要的朋友参考一下 本文实例讲述了Python按行读取文件的实现方法。分享给大家供大家参考，具体如下： 小文件： 大文件： 更多关于Python相关内容感兴趣的读者可查看本站专题：《Python文件与目录操作技巧汇总》、《Python文本文件操
-
本文向大家介绍PHP读取word文档的方法分析【基于COM组件】，包括了PHP读取word文档的方法分析【基于COM组件】的使用技巧和注意事项，需要的朋友参考一下 本文实例讲述了PHP读取word文档的方法。分享给大家供大家参考，具体如下： php开发 过程中可能会word文档的读取问题，这里可以利用com组件来完成此项操作 一、先开启php.ini的COM，操作如下 1. 2. 二、开启之后就可