python实现http请求并发_用grequests实现并发http请求
起因
要用http请求探测服务的有效性，多进程，多线程，感觉似乎没有必要，看看有没有协程的方案
1. 简单用法
grequests 利用 requests和gevent库，做了一个简单封装，使用起来非常方便
import grequests
import time
import requests
urls = [
'https://docs.python.org/2.7/library/index.html',
'https://docs.python.org/2.7/library/dl.html',
'http://www.iciba.com/partial',
'http://2489843.blog.51cto.com/2479843/1407808',
'http://blog.csdn.net/woshiaotian/article/details/61027814',
'https://docs.python.org/2.7/library/unix.html',
'http://2489843.blog.51cto.com/2479843/1386820',
'http://www.bazhuayu.com/tutorial/extract_loop_url.aspx?t=0',
]
def method1():
t1 = time.time()
for url in urls:
res = requests.get(url)
#print res.status_code
t2 = time.time()
print 'method1', t2 - t1
def method2():
tasks = [grequests.get(u) for u in urls]
t1 = time.time()
res = grequests.map(tasks, size=3)
# print res
t2 = time.time()
print 'method2', t2 - t1
def method3():
tasks = [grequests.get(u) for u in urls]
t1 = time.time()
res = grequests.map(tasks, size=6)
# print res
t2 = time.time()
if __name__ == '__main__':
method1()
method2()
method3()
运行结果如下：
method1 8.51106119156
method2 5.77834510803
method3 2.55373907089
可以看到使用协程以后，整个程序的完成时间有了大大缩短，并且每个协程的并发粒度也会影响整体时间
2. 重要参数
这里需要补充的是几个
grequests
def grequests.map(requests, stream=False, size=None, exception_handler=None, gtimeout=None)
参数
说明
备注
size
协程的并发度
当一个协程进行IO等待的时候，就会将CPU交给其他协程序，一般设置为50 ~ 100足矣
exception_handler
协程的并发度
捕获单个请求的异常
gtimeout
整体请求的超时设置
另外，由于grequests底层使用的是requests，因此它支持
GET，OPTIONS， HEAD， POST， PUT， DELETE 等各种http method
所以以下的任务请求都是支持的
grequests.post(url, json={"name":"zhangsan"})
grequests.delete(url)
3. 事件钩子
grequests的底层库，是requests，因此它也支持事件钩子
def print_url(r, *args, **kwargs):
print(r.url)
url = "http://www.baidu.com"
# 1.
res = requests.get(url, hooks={"response":print_url})
# 2.
tasks = []
req = grequests.get(url, callback=print_url)
tasks.append(req)
res = grequests.map(tasks)
参考资料: