实习期间,服务器的一位师兄让我帮忙整理一下服务器的log数据,最终我用Python实现了数据的提取并将其用Excel格式导出。下面是我Python实现的源码,可以自动遍历某一文件目录下的所有文本文件,并将总的数据导出到Excel文件中,导出为Excel格式这样就比较方便统计了。
//实现将目录下所有文件格式为.txt的文件进行遍历统计,如果是别的格式直接将下面的.txt改为你所需要的格式后缀就可以了,比较方便。
//过程就是先将所有的文件中的内容提取出来写入到一个新文件中,然后再从新文件中提取数据,最后将数据写入到Excel文件中
from pyExcelerator import * import os currentpath = os.getcwd() testlog = open('test.mak','w') os.mkdir(r'Excel') print "currentpath: ",currentpath for file in os.listdir(currentpath): if os.path.isfile(os.path.join(currentpath,file))==True: if file.find('.txt')>0: //如果是别的格式直接将下面的.txt改为你所需要的格式后缀就可以了 file_ = open(file,'r') content = file_.read() file_.close() testlog.write( content ) print 1 os.popen('log_parse.exe test.mak >> shuju.log') print 2 for _file in os.listdir(currentpath): if os.path.isfile(os.path.join(currentpath,_file))==True: if _file.find('.log')>0: work = Workbook() works = work.add_sheet('Sheet1') print 3 file_object = open(_file) for i in range(0,2): works.col(i).width = 10000 i = 0 for line in file_object: line = line.rstrip('\n') print 4 if not line.split(): i = i + 1 if line.strip(): array = line.split(':') lineleft = array[0] lineright = array[1] works.write(i,0,lineleft) works.write(i,1,lineright) i = i + 1 _file = _file.rstrip('.log') _file = 'Excel\%s.xls' % _file work.save(_file)
//其中的print 1 2 3 4 是我打的log如果不想要可以直接删掉。 使用该Python实现时直接将上面代码保存到 test.py的文件中就行了。
另外中间使用到了一个c++的提取可执行文件log_parse.exe,放在下面了。使用时将其与test.py放在同一目录下就可以了。
如果想方便的话可以建一个.bat文件写成命令行的形式,直接点击一下就可以自动完成所有的工作了,如下:
echo
python test.py
我自己的实现是大约150M文件跑了一分半的时间出结果,我认为还比较理想。
以上这篇python脚本实现数据导出excel格式的简单方法(推荐)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持小牛知识库。
本文向大家介绍python中json格式数据输出的简单实现方法,包括了python中json格式数据输出的简单实现方法的使用技巧和注意事项,需要的朋友参考一下 主要使用json模块,直接导入import json即可。 小例子如下: 以上就是小编为大家带来的python中json格式数据输出的简单实现方法全部内容了,希望大家多多支持呐喊教程~
本文向大家介绍C# 导出Excel的6种简单方法实现,包括了C# 导出Excel的6种简单方法实现的使用技巧和注意事项,需要的朋友参考一下 作者 | Johnson Manohar 译者 | 谭开朗,责编 | 黄浩然 出品 | CSDN(ID:CSDNnews) Syncfusion Excel (XlsIO) 库是一个 .Net Excel 库,它支持用户用 C# 和 VB.NET 以一个非常简
本文向大家介绍js导出excel文件的简洁方法(推荐),包括了js导出excel文件的简洁方法(推荐)的使用技巧和注意事项,需要的朋友参考一下 用js可以直接在jsp页面导出数据到excel文件,方法很简洁,如下: 第一,准备一个jsp(暂时取名为export.jsp),内容为: 第二,写一个导出数据的jsp页面(暂时命名为test.jsp),内容如下: ok,至此,导出功能结束。 以上就是小编为
本文向大家介绍用python实现简单EXCEL数据统计的实例,包括了用python实现简单EXCEL数据统计的实例的使用技巧和注意事项,需要的朋友参考一下 任务: 用python时间简单的统计任务-统计男性和女性分别有多少人。 用到的物料:xlrd 它的作用-读取excel表数据 代码: 以上这篇用python实现简单EXCEL数据统计的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也
本文向大家介绍Python实现将数据库一键导出为Excel表格的实例,包括了Python实现将数据库一键导出为Excel表格的实例的使用技巧和注意事项,需要的朋友参考一下 数据库数据导出为excel表格,也可以说是一个很常用的功能了。毕竟不是任何人都懂数据库操作语句的。 下面先来看看完成的效果吧。 数据源 导出结果 依赖 由于是Python实现的,所以需要有Python环境的支持 Python2.
本文向大家介绍python pandas实现excel转为html格式的方法,包括了python pandas实现excel转为html格式的方法的使用技巧和注意事项,需要的朋友参考一下 如下所示: 以上这篇python pandas实现excel转为html格式的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持呐喊教程。