Python 3：请求模块-如何中断会话并继续？

Question

我正在写一个网页抓取程序，我面临着以下问题。当我的URL是*. doc或*. jpg等时，我的当前请求不会超时，也不会传递到下一个URL。

例如：

html = requests.get("http//:www.someweb.com/abcd.doc", verify=False, timeout=5)

你能帮我获取（）url吗？但有些url需要10秒钟，然后转到下一个吗？？

我还尝试了eventled：

import eventlet
eventlet.monkey_patch()
with eventlet.Timeout(10):
    html = requests.get(enlance, verify=False)

我收到了如下一系列错误：

Traceback（最近一次调用）： File"emailCrawler.py"， line 69， in getLink（"）File"emailCrawler.py"， line 64， in getLink getLink（page）File"emailCrawler.py"， line 64， in getLink getLink（page））文件"emailCrawler.py"，第64行，在getLink getLink（page）文件"emailCrawler.py"，第64行，在getLink getLink（page）文件"emailCrawler.py"，第64行，在getLink getLink（page）文件"emailCrawler.py"，第25行，在getLink html=requests.get（enlance，验证=False）File"/home/ccnp/环境/my_env/lib/python3.5/site-包/请求/api.py"，第72行，在get返回请求（'get'，url，params=params，**kwargs）File"/home/ccnp/环境/my_env/lib/python3.5/site-包/请求/api.py"，第58行，在请求返回session.request（method=method，url=url，**kwargs）File"/home/ccnp/环境/my_env/lib/python3.5/site-包/请求/sessions.py"，第508行，在请求resp=self.send（prep，**send_kwargs）File"/home/ccnp/环境/my_env/lib/python3.5/site-包/请求/sessions.py"，第618行，在发送r=adapter.send（请求，**kwargs）File"/home/ccnp/环境/my_env/lib/python3.5/site-包/请求/adapters.py"，第440行，在发送超时=超时File"/home/ccnp/环境/my_env/lib/python3.5/site-包/urllib3/connectionpool.py"，第601行，在urlopenchunked=chunked）File"/home/ccnp/环境/my_env/lib/python3.5/site-pack/urllib3/connectionpool.py"，第357行，_make_requestconn.request（方法，url，**httplib_request_kw）File"/usr/lib/python3.5/超文本传输协议/client.py"，第1107行，请求自._send_request（方法，url，正文，标头）文件"/usr/lib/python3.5/超文本传输协议/客户端. py"，第1152行，在_send_request. endHeaders（正文）文件"/usr/lib/python3.5/超文本传输协议/客户端. py"，第1103行，在endHeaders自身。_send_output（message_body）文件"/usr/lib/python3.5/超文本传输协议/客户端. py"，第934行，在_send_output自己。发送（msg）文件"/usr/lib/python3.5/超文本传输协议/客户端。py"，第877行，在发送自我。连接（）文件"/home/ccnp/环境/my_env/lib/python3.5/site-包/urllib3/连接。py"，第166行，在连接康恩=自。_new_conn（）文件"/home/ccnp/environments/my_env/lib/python3.5/site-packages/urllib3/connection.py"，第141行，在_new_conn（自己. host，自己. port），自己. timeout，**extra_kw）File"/home/ccnp/环境/my_env/lib/python3.5/site-包/urllib3/util/连接. py"，第73行，在create_connection插槽.连接（sa）File"/home/ccnp/环境/my_env/lib/python3.5/site-包/eventlet/Greenio/base. py"，第247行，在连接自_trampoline（fd，写=True）File"/home/ccnp/环境/my_env/lib/python3.5/site-包/eventlet/Greenio/base. py"，第207行，在_trampolinemark_as_closed=自己。_mark_as_closed）File"/home/ccnp/环境/my_env/lib/python3.5/site-包/eventlet/hubs/init.py"，第163行，在trampoline中返回hub. Switch（）File"/home/ccnp/环境/my_env/lib/python3.5/site-包/eventlet/hubs/hub. py"，第295行，在Switch中返回自己。超时： 10秒

Answer 1

我想我已经找到解决办法了

而不是eventlet请求我eventlet美化组如下

try:
    html = requests.get(enlance, verify=False, timeout=5)

except Exception as e:
    print(e)
else:
    with eventlet.Timeout(5):
        bsObj = BeautifulSoup(html.text, "html.parser", from_encoding="iso-8859-1")