python爬取数据保存为Json格式
代码如下:
#encoding:'utf-8' import urllib.request from bs4 import BeautifulSoup import os import time import codecs import json #找到网址 def getDatas(): # 伪装 header={'User-Agent':"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11"} # url="https://movie.douban.com/top250" url="file:///E:/scrapy/2018-04-27/movie/movie.html" ret=urllib.request.Request(url=url,headers=header) # 打开网页 res=urllib.request.urlopen(ret) # 转化格式 response=BeautifulSoup(res,'html.parser') # 找到想要数据的父元素 datas=response.find_all('div',{'class':'item'}) # print(datas) #创建存放数据的文件夹 folder_name="output" if not os.path.exists(folder_name): os.mkdir(folder_name) # 定义文件 current_time=time.strftime('%Y-%m-%d',time.localtime()) file_name="move"+current_time+".json" # 文件路径 file_path=folder_name+"/"+file_name for item in datas: # print(item) dict1={} dict1['rank']=item.find('div',{'class':'pic'}).find('em').get_text() dict1['title']=item.find('div',{'class':'info'}).find('div',{'class':'hd'}).find('a').find('span',{'class':'title'}).get_text() dict1['picUrl']=item.find('div',{'class':'pic'}).find('a').find('img').get('src') # print(picUrl) # 保存数据为json格式 try: with codecs.open(file_path,'a',encoding="utf-8") as fp: fp.write(json.dumps(dict1,ensure_ascii=False)+",\n") except IOError as err: print('error'+str(err)) finally: fp.close() pass getDatas() # 爬取数据
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对小牛知识库的支持。如果你想了解更多相关内容请查看下面相关链接
本文向大家介绍python 把数据 json格式输出的实例代码,包括了python 把数据 json格式输出的实例代码的使用技巧和注意事项,需要的朋友参考一下 有个要求需要在python的标准输出时候显示json格式数据,如果缩进显示查看数据效果会很好,这里使用json的包会有很多操作 这样就会得到如下的输出: 可以看到都已经格式化了。 这是在python中,如果直接使用命令行,希望直接转换,可
本文向大家介绍python爬取youtube视频的示例代码,包括了python爬取youtube视频的示例代码的使用技巧和注意事项,需要的朋友参考一下 这几天正在追剧,原名《大秦帝国之天下》的《大秦赋》,看着看着又想把前几部刷一遍了,但第一部《裂变》自己没有高清资源,搜了一波发现youtube上有个48集版的高清资源,有删减就有删减吧,就想着写个脚本批量下载一下,记录一下过程,主要是youtu
本文向大家介绍scrapy与selenium结合爬取数据(爬取动态网站)的示例代码,包括了scrapy与selenium结合爬取数据(爬取动态网站)的示例代码的使用技巧和注意事项,需要的朋友参考一下 scrapy框架只能爬取静态网站。如需爬取动态网站,需要结合着selenium进行js的渲染,才能获取到动态加载的数据。 如何通过selenium请求url,而不再通过下载器Downloader去请求
本文向大家介绍Python 存取npy格式数据实例,包括了Python 存取npy格式数据实例的使用技巧和注意事项,需要的朋友参考一下 数据处理的时候主要通过两个函数 (1):np.save(“test.npy”,数据结构) ----存数据 (2):data =np.load('test.npy") ----取数据 给2个例子如下(存列表) 1、 2、存字典 3、在存为字典格式读取后,需要先调用如
本文向大家介绍python实现模拟器爬取抖音评论数据的示例代码,包括了python实现模拟器爬取抖音评论数据的示例代码的使用技巧和注意事项,需要的朋友参考一下 目标: 由于之前和朋友聊到抖音评论的爬虫,demo做出来之后一直没整理,最近时间充裕后,在这里做个笔记。 提示:大体思路 通过fiddle + app模拟器进行抖音抓包,使用python进行数据整理 安装需要的工具: python3 下载
本文向大家介绍JQuery获取表格数据示例代码,包括了JQuery获取表格数据示例代码的使用技巧和注意事项,需要的朋友参考一下 有这样一个表格: 点击删除执行保存,需要执行onclick事件SaveItem("<%#Eval("ID")>",this); 在JS中