python2 urllib2_python的httplib、urllib和urllib2的区别及用
慢慢的把它们总结一下，总结就是最好的学习方法
宗述
首先来看一下他们的区别
urllib和urllib2
urllib 和urllib2都是接受URL请求的相关模块，但是urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。
这意味着，你不可以伪装你的User Agent字符串等。
urllib提供urlencode方法用来GET查询字符串的产生，而urllib2没有。这是为何urllib常和urllib2一起使用的原因。
目前的大部分http请求都是通过urllib2来访问的
httplib
httplib实现了HTTP和HTTPS的客户端协议，一般不直接使用，在python更高层的封装模块中(urllib,urllib2)使用了它的http实现。
urllib简单用法
urllib.urlopen(url[, data[, proxies]]) :
google = urllib.urlopen('http://www.google.com')
print'http header:/n', google.info()
print'http status:', google.getcode()
print'url:', google.geturl()for line ingoogle: # 就像在操作本地文件
print line,
google.close()
详细使用方法见
urllib2简单用法
最简单的形式
import urllib2
response=urllib2.urlopen('http://www.douban.com')
html=response.read()
实际步骤：
1、urllib2.Request()的功能是构造一个请求信息，返回的req就是一个构造好的请求
2、urllib2.urlopen()的功能是发送刚刚构造好的请求req，并返回一个文件类的对象response，包括了所有的返回信息。
3、通过response.read()可以读取到response里面的html，通过response.info()可以读到一些额外的信息。
如下：
#!/usr/bin/env python
import urllib2
req= urllib2.Request("http://www.douban.com")
response=urllib2.urlopen(req)
html=response.read()
print html
有时你会碰到，程序也对，但是服务器拒绝你的访问。这是为什么呢?问题出在请求中的头信息(header)。 有的服务端有洁癖，不喜欢程序来触摸它。这个时候你需要将你的程序伪装成浏览器来发出请求。请求的方式就包含在header中。
常见的情形：
import urllib
import urllib2
url= 'http://www.someserver.com/cgi-bin/register.cgi'user_agent= 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'# 将user_agent写入头信息
values= {'name' : 'who','password':'123456'}
headers= { 'User-Agent': user_agent }
data=urllib.urlencode(values)
req=urllib2.Request(url, data, headers)
response=urllib2.urlopen(req)
the_page= response.read()
values是post数据
GET方法
例如百度：
百度是通过http://www.baidu.com/s?wd=XXX 来进行查询的，这样我们需要将{‘wd’:’xxx’}这个字典进行urlencode
#coding:utf-8import urllib
import urllib2
url= 'http://www.baidu.com/s'values= {'wd':'D_in'}
data=urllib.urlencode(values)
print data
url2= url+'?'+data
response=urllib2.urlopen(url2)
the_page=response.read()
print the_page
POST方法
import urllib
import urllib2
url= 'http://www.someserver.com/cgi-bin/register.cgi'user_agent= 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' //将user_agent写入头信息
values = {'name' : 'who','password':'123456'} //post数据
headers = { 'User-Agent': user_agent }
data= urllib.urlencode(values) //对post数据进行url编码
req =urllib2.Request(url, data, headers)
response=urllib2.urlopen(req)
the_page= response.read()
urllib2带cookie的使用
#coding:utf-8import urllib2,urllib
import cookielib
url= r'http://www.renren.com/ajaxLogin'#创建一个cj的cookie的容器
cj=cookielib.CookieJar()
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#将要POST出去的数据进行编码
data= urllib.urlencode({"email":email,"password":pass})
r=opener.open(url,data)
print cj
httplib简单用法
简单示例
#!/usr/bin/env python
#-*- coding: utf-8 -*-import httplib
import urllib
def sendhttp():
data= urllib.urlencode({'@number': 12524, '@type': 'issue', '@action': 'show'})
headers= {"Content-type": "application/x-www-form-urlencoded","Accept": "text/plain"}
conn= httplib.HTTPConnection('bugs.python.org')
conn.request('POST', '/', data, headers)
httpres=conn.getresponse()
print httpres.status
print httpres.reason
print httpres.read()if __name__ == '__main__':
sendhttp()
具体用法见
python 3.x中urllib库和urilib2库合并成了urllib库。其中、
首先你导入模块由
import urllib
import urllib2
变成了
import urllib.request
然后是urllib2中的方法使用变成了如下
urllib2.urlopen()变成了urllib.request.urlopen()
urllib2.Request()变成了urllib.request.Request()urllib2.URLError 变成了urllib.error.URLError
而当你想使用urllib 带数据的post请求时，
在python2中
urllib.urlencode(data)
而在python3中就变成了
urllib.parse.urlencode(data)
脚本使用举例：
python 2中
import urllib
import urllib2
import json
from config import settings
def url_request(self, action, url,**extra_data): abs_url = "http://%s:%s/%s" % (settings.configs['Server'],
settings.configs["ServerPort"],
url)if action in ('get', 'GET'):
print(abs_url, extra_data)try:
req=urllib2.Request(abs_url)
req_data= urllib2.urlopen(req, timeout=settings.configs['RequestTimeout'])
callback=req_data.read()
# print"-->server response:",callbackreturncallback
except urllib2.URLErrorase:
exit("\033[31;1m%s\033[0m" %e)
elif actionin ('post', 'POST'):
# print(abs_url,extra_data['params'])try:
data_encode= urllib.urlencode(extra_data['params'])
req= urllib2.Request(url=abs_url, data=data_encode)
res_data= urllib2.urlopen(req, timeout=settings.configs['RequestTimeout'])
callback=res_data.read()
callback=json.loads(callback)
print("\033[31;1m[%s]:[%s]\033[0m response:\n%s" %(action, abs_url, callback))returncallback
except Exceptionase:
print('---exec', e)
exit("\033[31;1m%s\033[0m" % e)
python3.x中
import urllib.request
import jsonfromconfig import settings
def url_request(self, action, url,**extra_data):
abs_url= 'http://%s:%s/%s/' % (settings.configs['ServerIp'], settings.configs['ServerPort'], url)if action in ('get', 'Get'): # get请求
print(action, extra_data)try:
req=urllib.request.Request(abs_url)
req_data= urllib.request.urlopen(req, timeout=settings.configs['RequestTimeout'])
callback=req_data.read()returncallback
except urllib.error.URLErrorase:
exit("\033[31;1m%s\033[0m" %e)
elif actionin ('post', 'POST'): # post数据到服务器端try:
data_encode= urllib.parse.urlencode(extra_data['params'])
req= urllib.request.Request(url=abs_url, data=data_encode)
req_data= urllib.request.urlopen(req, timeout=settings.configs['RequestTimeout'])
callback=req_data.read()
callback=json.loads(callback.decode())returncallback
except urllib.request.URLErrorase:
print('---exec', e)
exit("\033[31;1m%s\033[0m" % e)
settings配置如下：
configs ={'HostID': 2,"Server": "localhost","ServerPort": 8000,"urls": {'get_configs': ['api/client/config', 'get'], #acquire all the services will be monitored'service_report': ['api/client/service/report/', 'post'],
},'RequestTimeout': 30,'ConfigUpdateInterval': 300, # 5 mins as default}