xlslib库是将所有数据写入到workbook对象和多个worksheet对象中。
然后再一次性导出数据,导致内存峰值过大,系统内存不足。
因此需要对其进行改进。由于公司代码不便贴出,这里仅描述我的实现方案。
新增一个workbook public接口,用于导出xls文件。接口名为:DumpOneByOne。其内容为基于Dump接口修改后的内容。
接口参数:
filename: 导出文件名
callback:生成sheet页时的回调函数
args: 回调函数参数
当要导出第N个sheet之前,先释放第N-1个sheet类对象,然后才调用回调函数填充第N个sheet类对象,最后导出sheet类对象对应的buffer。
新增一个workbook private接口,用于控制workbook生成sheet流程,接口名为:DumpDataOneByOne,其接口内容为基于DumpData接口修改后的内容。
第一次要生成sheet对象时,及时跳出循环。
方案1实测大概优化2倍-4倍内存。80M的excel实测原先消耗600M内存,优化后消耗240M内存。原先100M消耗内存优化后消耗40M内存。
优化程度和生成excel内容的方式有关。但大致在2-4倍
方案1优化时,内存实际优化只有2-4倍。因此进行第二轮优化
excel越大,其生成的buffer也会越大。100M的excel需要的buffer也是100M,因此需要100M内存。
可以将buffer暂时写入到文件中,然后再分段读出来。
生成excel表格的过程中,可能创建了几十万-几百万个buffer对象。
在生成excel文件时,buffer对象的buffer是直接拼接使用的。
每个对象内部的buffer占用了几十字节-几百字节不等,可以将buffer对象的buffer临时保存在文件中,记录的buffer大小进行叠加,然后清空buffer,并记录buffer在文件中的位置和大小,然后继续复用该对象。当拼接buffer时,直接从文件取出buffer即可。buffer不宜过大,读出时过大占用内存大,不宜过小,不然buffer对象还是很多。
通过测试32KB-512KB效果相近。
80M大小的excel,256个SHEET页,原先消耗600M多内存,方案2优化后仅需要2M内存(不包含代码段内存占用)。
27M大小的excel,100个SHEET页,原先消耗200M多内存,方案2优化后仅需要2M内存(不包含代码段内存占用)。
将原来线性上升的内存消耗改为了低内存的固定消耗。设备中实际运行过程,固定内存占用为5M。
缺点:如果buffer大小需要100M,那么磁盘或者flash则需要消耗额外100M,内存的要求转移到flash中了