urllib2的多处理没用吗？

Question

我最近尝试使用多处理模块（和它的）来加速一个小工具（使用urllib2将请求发送到（非官方）twitter-button-count-url（> 2000
url）并解析其结果）工人池）。我在这里阅读了一些有关多线程（与标准的非线程版本相比，它使整个过程变慢）和多处理的讨论，但是我找不到（可能非常简单）问题的答案：

您可以通过多处理来加速url调用吗，还是不是像网络适配器那样的瓶颈？我看不到例如urllib2-open-
method的哪一部分可以并行化以及应该如何工作…

编辑：这是我要加快的请求和当前的多重处理设置：

 urls=["www.foo.bar", "www.bar.foo",...]
 tw_url='http://urls.api.twitter.com/1/urls/count.json?url=%s'

 def getTweets(self,urls):
    for i in urls:
        try:
            self.tw_que=urllib2.urlopen(tw_url %(i))
            self.jsons=json.loads(self.tw_que.read())
            self.tweets.append({'url':i,'date':today,'tweets':self.jsons['count']})
        except ValueError:
            print ....
            continue
    return self.tweets

 if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=4)            
    result = [pool.apply_async(getTweets(i,)) for i in urls]
    [i.get() for i in result]

Answer 1

看看看看GEVENT具体的例子：concurrent_download.py。它比多处理和多线程要快得多，并且可以轻松处理数千个连接。