urllib提供了一系列用于操作URL的功能.包含urllib.request,urllib.error,urllib.parse,urllib.robotparser四个子模块。
1.urllib.request 负责请求
2. urllib.error 异常处理模块
3. urllib.parse url 负责解析
4. urllib.robotparser 负责robots.txt文件的解析
其中urllib.request 模块提供了最基本的构造 HTTP (或其他协议如 FTP)请求的方法,利用它可以模拟
今天讲解urllib.request中的urlopen()函数.
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
url:需要打开的网址
data: Post 提交的数据, 默认为 None ,发送一个GET请求到指定的页面,当 data 不为 None 时, urlopen() 提交方式为 Post timeout:设置网站访问超时时间
urlopen 返回一个类文件对象,并提供了如下方法:
read() , readline() , readlines() , fileno() , close() :这些方法的使用方式与文件对象完全一样;
info():返回一个httplib.HTTPMessage对象,表示远程服务器返回的头信息;可以通过Quick Reference to Http Headers查看 Http Header 列表。
getcode():返回Http状态码。如果是http请求,200表示请求成功完成;404表示网址未找到;
geturl():返回获取页面的真实 URL。在 urlopen(或 opener 对象)可能带一个重定向时,此方法很有帮助。获取的页面 URL 不一定跟真实请求的 URL 相同。
from urllib import request
with request.urlopen('https://www.baidu.com/') as f:
data = f.read()
print('Status:', f.status, f.reason)
print('Data:', data.decode('utf-8'))#Data的数据格式为bytes类型,需要decode()解码,转换成str类型
结果:Status: 200 OK
Data:
location.replace(location.href.replace("https://","http://"));