知乎上有同学求助说,当他试图打开一个20M左右的excel文件时,无论是使用pandas的read_excel,还是直接使用xlrd或者openpyxl模块,速度都慢到无法忍受的程度,耗时大约1分钟左右。
真的会这样吗?第一感觉是,这位同学在使用openpyxl模块时没有设置只读模式。为便于测试,先用下面的代码生成一个一百万行数据的excel文件。
>>> from openpyxl import Workbook >>> wb = Workbook() >>> sh = wb.active >>> sh.append(['id', '语文', '数学', '英语', '物理']) >>> for i in range(1000000): # 写入100万行数据 sh.append([i+1, 90, 100, 95, 99]) >>> wb.save(r'd:\bigxlsx.xlsx') >>> import os >>> os.path.getsize(r'd:\bigxlsx.xlsx') # 文件大小:20M字节 20230528
接下来定义了一个使用openpyxl模块打开文件的函数,分别考察关闭和开启只读模式的时间消耗。
>>> from openpyxl import load_workbook >>> import time >>> def read_xlsx(read_only): t0 = time.time() wb = load_workbook(r'd:\bigxlsx.xlsx', read_only=read_only) t1 = time.time() print(wb.sheetnames) print(sh.cell(row=1, column=1).value) print(sh.cell(row=100, column=3).value) print('耗时%0.3f秒钟'%(t1-t0)) >>> read_xlsx(True) ['Sheet'] id 100 耗时0.404秒钟 >>> read_xlsx(False) ['Sheet'] id 100 耗时67.817秒钟
运行测试,果然,不开启只读的话,真的需要1分多钟,而使用只读模式的话,则仅需0.4秒钟。
不过,也别高兴得太早,openpyxl模块并没有提供像pandas.read_excel()那样把全部数据读入一个数据结构的功能,只能定位到行、列或格子以后再读取数据。要想使用openpyxl模块把全部数据读入到数组或DataFrame中,需要遍历所有的行和列,这仍然是一个非常耗时的操作。
那么,pandas.read_excel()是否也支持只读模式呢?遗憾的是,read_excel()并没有类似read_only这样的参数。尽管read_excel()可以接受文件路径、文件对象、类文件对象,甚至是二进制数据,但即使将文件内容传入,read_excel()解析这100万行数据仍然需要大约80秒钟。下面的代码验证了这一点。
>>> import pandas as pd >>> def read_excel_by_pandas(): with open(r'd:\bigxlsx.xlsx', 'rb') as fp: content = fp.read() t0 = time.time() df = pd.read_excel(content, engine='openpyxl') t1 = time.time() print(df.head()) print(df.tail()) print('耗时%0.3f秒钟'%(t1-t0)) >>> read_excel_by_pandas() id 语文 数学 英语 物理 0 1 90 100 95 99 1 2 90 100 95 99 2 3 90 100 95 99 3 4 90 100 95 99 4 5 90 100 95 99 id 语文 数学 英语 物理 999995 999996 90 100 95 99 999996 999997 90 100 95 99 999997 999998 90 100 95 99 999998 999999 90 100 95 99 999999 1000000 90 100 95 99 耗时81.369秒钟
结论:处理超大的Excel文件时,使用openpyxl模块的只读模式,可以快速打开并取得指定格子的数据,但不要尝试将全部数据读入到自己定义的数据结构中,这将花费漫长的时间。对此,pandas也无能为力。
到此这篇关于使用Python快速打开一个百万行级别的超大Excel文件的方法的文章就介绍到这了,更多相关python打开excel文件内容请搜索小牛知识库以前的文章或继续浏览下面的相关文章希望大家以后多多支持小牛知识库!
作为我工作的一部分,我一直在制作python脚本,这些脚本读取各种格式(例如Excel、Csv、Txt)的输入,并将信息解析为更标准化的文件。这不是我第一次打开或使用Excel文件。 有一个特殊的文件给我带来了问题,我只是打不开它。当我尝试使用xlrd(版本0.9.3)时,它给了我以下错误: XLRDERROR:不支持的格式,或损坏的文件:BOF不是工作簿/工作表:OP=0x0009 vers=0
本文向大家介绍java导出大批量(百万以上)数据的excel文件,包括了java导出大批量(百万以上)数据的excel文件的使用技巧和注意事项,需要的朋友参考一下 本文实例为大家分享了java导出百万以上数据的excel文件,供大家参考,具体内容如下 1.传统的导出方式会消耗大量的内存,2003每个sheet页最多65536条数据,2007每个sheet页可以达到100万条数据以上,2007会在生
我有一个csv文件,它一直增长到大约48M行。 在向它添加新行之前,我需要阅读最后一行。 我尝试了下面的代码,但它太慢了,我需要一个更快的替代方案:
目前我正在使用扫描器/文件读取器,并使用while HasNextLine。我认为这种方法效率不高。有没有其他方法读取文件与此类似的功能?
问题内容: 我正在尝试在excel中打开一个受密码保护的文件,而无需任何用户交互。我在线搜索,发现此代码使用win32com.client运行此程序时,仍然提示输入密码… 问题答案: 我认为命名参数在这种情况下不起作用。因此,您必须执行以下操作: 有关Workbooks.Open方法的详细信息,请参见http://msdn.microsoft.com/zh- cn/library/office/f
本文向大家介绍python打开使用的方法,包括了python打开使用的方法的使用技巧和注意事项,需要的朋友参考一下 python怎么打开使用? 1、首先需要打开电脑的桌面,如图所示,并按开始的快捷键点击安装好的python3.6程序进入。 2、然后点击进入之后,如图所示,可以看到页面上面的三个大于号出现并且后面一直有光标在闪就表示启动成功了。 3、最后,第一个程序就是打印print,在光标后面输入