由于客户提供的是excel文件,在使用时期望使用csv文件格式,且对某些字段内容需要做一些处理,如从某个字段中固定的几位抽取出来,独立作为一个字段等,下面记录下使用acaconda处理的过程;
import pandas df = pandas.read_excel("/***/***.xlsx") df.columns = [内部为你给你的excel每一列自定义的名称](比如我给我的excel自定义列表为: ["url","productName","***",。。。,"***"])
(下面开始你自己的表演,对每一列内容进行你自己需要的处理)
df["url"] = df["url"].str.replace("http", "https") df["***"] = df["***"].str.replace("\n", " ") df["stract_content"] = df["url"].str[-6:]
表演结束之后,就要保存了
df.drop_duplicates().fillna("").to_csv("/***/***.csv", index=False, encoding="utf-8", sep="\3")
上面为读取路径,下面为保存路径
结束之后,可以通过
df.head(5)来查看结果前5个,判断处理结果是否符合你的预期即可;
下面总结一下将List内容存储到excel和csv:
直接上代码:
list存储到csv文件:下面代码使用codes包操作
with codecs.open("result.csv", "w", encoding="utf-8") as fw: for i in final_res: fw.write(u"\3".join([j if isinstance(j, unicode) else str(j).decode("utf-8") for j in i]) + "\n")
下面是使用pandas操作:
columns是字符串列表,作为表格的标题头
df = pandas.DataFrame(my_list) df.columns = ["col1", "col2", ...] df.to_excel("result.xlsx", index=False, encoding="utf-8")
也可以先存储为csv文件,然后使用pandas转化为excel:
with codecs.open("result.csv", "w", encoding="utf-8") as fw: for i in final_res: fw.write(u"\3".join([j if isinstance(j, unicode) else str(j).decode("utf-8") for j in i]) + "\n") with pandas.ExcelWriter('result.xlsx') as ew: pandas.read_csv("result.csv", sep='\3').to_excel(ew, index=False, header=["文件名", "query调用时间", "调用ip", "调用类型", "query结束时间", "行序号", "top5 sku", "文件总耗时"], sheet_name="result", encoding="utf-8")
或者:
with codecs.open("result.csv", "w", encoding="utf-8") as fw: for i in final_res: fw.write(u"\3".join([j if isinstance(j, unicode) else str(j).decode("utf-8") for j in i]) + "\n") df = pandas.read_csv("result.csv", sep="\3") df.columns = ["col1", "col2", ...] df.to_excel("result.xlsx", index=False, encoding="utf-8")
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持小牛知识库。
本文向大家介绍python利用pandas将excel文件转换为txt文件的方法,包括了python利用pandas将excel文件转换为txt文件的方法的使用技巧和注意事项,需要的朋友参考一下 python将数据换为txt的方法有很多,可以用xlrd库实现。本人比较懒,不想按太多用的少的插件,利用已有库pandas将excel文件转换为txt文件。 直接上代码: 说明:xxx_dir带目标文件名
本文向大家介绍pandas处理csv文件的方法步骤,包括了pandas处理csv文件的方法步骤的使用技巧和注意事项,需要的朋友参考一下 一、我的需求 对于这样的一个 csv 表,需要将其 (1)将营业部名称和日期和股票代码进行拼接 (2)对于除了买入金额不同的的数据需要将它们的买入金额相加,每个买入金额乘以买卖序号的符号表示该营业名称对应的买入金额 比如:xx公司,20190731,1,股票1,4
本文向大家介绍Python使用Pandas对csv文件进行数据处理的方法,包括了Python使用Pandas对csv文件进行数据处理的方法的使用技巧和注意事项,需要的朋友参考一下 今天接到一个新的任务,要对一个140多M的csv文件进行数据处理,总共有170多万行,尝试了导入本地的MySQL数据库进行查询,结果用Navicat导入直接卡死....估计是XAMPP套装里面全默认配置的MySQL性能不
本文向大家介绍javascript导出csv文件(excel)的方法示例,包括了javascript导出csv文件(excel)的方法示例的使用技巧和注意事项,需要的朋友参考一下 这里贴出JavaScript导出csv文件(excel)的代码。 上面的写法,如果excel中的数据太多,就会导致无法导出的结果,原因是浏览器对URL的长度有限制,因此要使用Blob对象和window.URL.creat
本文向大家介绍使用python把json文件转换为csv文件,包括了使用python把json文件转换为csv文件的使用技巧和注意事项,需要的朋友参考一下 了解json整体格式 这里有一段json格式的文件,存着全球陆地和海洋的每年异常气温(这里只选了一部分):global_temperature.json 通过python读取后可以看到其实json就是dict类型的数据,description和
本文向大家介绍python高手之路python处理excel文件(方法汇总),包括了python高手之路python处理excel文件(方法汇总)的使用技巧和注意事项,需要的朋友参考一下 用python来自动生成excel数据文件。python处理excel文件主要是第三方模块库xlrd、xlwt、xluntils和pyExcelerator,除此之外,python处理excel还可以用win32