Python urllib3以及如何处理cookie支持？

Question

因此，我正在研究urllib3，因为它具有连接池并且是线程安全的（因此性能更好，尤其是对于爬网而言），但是文档…至少可以说最少。urllib2具有build_opener，因此类似：

#!/usr/bin/python
import cookielib, urllib2
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
r = opener.open("http://example.com/")

但是urllib3没有build_opener方法，因此到目前为止，我唯一想到的方法是手动将其放在标头中：

#!/usr/bin/python
import urllib3
http_pool = urllib3.connection_from_url("http://example.com")
myheaders = {'Cookie':'some cookie data'}
r = http_pool.get_url("http://example.org/", headers=myheaders)

但是我希望有一种更好的方法，你们中的一个可以告诉我它是什么。也可以有人用“ urllib3”标记它。

Answer 1

您是正确的，现在没有立即更好的方法来执行此操作。如果您有同等的改进，我将非常乐意接受补丁。

要记住的一件事是，urllib3的HTTPConnectionPool旨在成为到特定主机（而不是有状态客户端）的“连接池”。在这种情况下，将cookie跟踪保持在实际池之外是有意义的。

• shazow（urllib3的作者）