具有多线程的Python请求

Question

我过去两天一直在尝试构建具有多线程功能的刮板。不知何故我仍然无法管理它。最初，我尝试使用带有线程模块的常规多线程方法，但这并不比使用单个线程快。后来我了解到请求正在阻塞，并且多线程方法并没有真正起作用。因此，我不断研究并发现有关grequests和gevent的信息。现在，我正在使用gevent运行测试，它仍然没有比使用单个线程快。我的编码有误吗？

这是我课程的相关部分：

import gevent.monkey
from gevent.pool import Pool
import requests

gevent.monkey.patch_all()

class Test:
    def __init__(self):
        self.session = requests.Session()
        self.pool = Pool(20)
        self.urls = [...urls...]

    def fetch(self, url):

        try:
            response = self.session.get(url, headers=self.headers)
        except:
            self.logger.error('Problem: ', id, exc_info=True)

        self.doSomething(response)

    def async(self):
        for url in self.urls:
            self.pool.spawn( self.fetch, url )

        self.pool.join()

test = Test()
test.async()

Answer 1

安装grequests模块与工作gevent（requests不用于异步）：

pip install grequests

然后将代码更改为如下所示：

import grequests

class Test:
    def __init__(self):
        self.urls = [
            'http://www.example.com',
            'http://www.google.com', 
            'http://www.yahoo.com',
            'http://www.stackoverflow.com/',
            'http://www.reddit.com/'
        ]

    def exception(self, request, exception):
        print "Problem: {}: {}".format(request.url, exception)

    def async(self):
        results = grequests.map((grequests.get(u) for u in self.urls), exception_handler=self.exception, size=5)
        print results

test = Test()
test.async()

这是正式建议由requests项目：

阻止还是不阻止？

使用默认的传输适配器后，请求将不提供任何类型的非阻塞IO。该Response.content属性将阻塞，直到下载完整个响应。如果您需要更多的粒度，则库的流功能（请参阅流请求）允许您一次检索较小数量的响应。但是，这些调用仍将阻止。

如果您担心阻塞IO的使用，那么有很多项目将Requests与Python的异步框架之一结合在一起。grequests和都是两个很好的例子requests- futures。

使用这种方法让我用10个URL的noticable性能提升：0.877sVS3.852s与你原来的方法。