Python-requests.get（连接中止.'， OSError（"（60，'ETIMEDOUT'）

Question

我是web scraper的新手，尝试访问一个网站，但出现了太多错误，并被告知（连接已中止）。

from bs4 import BeautifulSoup
import requests
urla="https://www.loopnet.com/search/office-space/san-diego-ca/for-lease/?sk=02fa1ad85634ef43bfd21f24bbe3a14a"
source = requests.get(urla).text
print(source)

OSError Traceback（最近一次调用上次）~/opt/anaconda3/lib/python3.7/site-packages/urllib3/connectionpool.py在urlopen中（self、method、url、body、headers、retries、redirect、assert\u same\u host、timeout、pool\u timeout、release\u conn、chunked、body\u pos、**response\u kw）671 headers=headers--

~/opt/anaconda3/lib/python3.7/超文本传输协议/client.py开始（自我）305而真：--

~/opt/anaconda3/lib/python3.7/http/client.py处于读取状态（self）266 def读取状态（self）：--

在readinto（self，b）588中~/opt/anaconda3/lib/python3.7/socket.py尝试：--

将~/opt/anaconda3/lib/python3.7/site-packages/urllib3/contrib/pyopenssl.py放入（self，*args，**kwargs）317其他：--

OSError:（60“ETIMEDOUT”）

在处理上述异常期间，发生了另一个异常：

在发送（自己，请求，流，超时，验证，证书，代理）448重试=self.max_retries，-

urlopen中的~/opt/anaconda3/lib/python3.7/site-packages/urllib3/connectionpool.py（self、method、url、body、headers、retries、redirect、assert\u same\u host、timeout、pool\u timeout、release\u conn、chunked、body\u pos、**response\u kw）719次重试次数=重试次数。增量（--

连接错误：（'连接中止.'， OSError（"（60，'ETIMEDOUT')")) (类似这样的东西）

Answer 1

出现此错误的原因是服务器没有响应或响应时间过长。您应该始终将请求封装在try块中以避免程序崩溃，这样您就可以通过使用requests.exceptions模块捕获任何错误或特定错误

import requests
url="https://www.loopnet.com/search/office-space/san-diego-ca/for-lease/?sk=02fa1ad85634ef43bfd21f24bbe3a14a"

抓住任何错误

try:
    source = requests.get(url).text
except:
    print 'ERROR'

捕捉连接错误

from requests.exceptions import ConnectionError

try:
    source = requests.get(url).text
except ConnectionError:                  # <-- this is your case scenario
    print 'NOT RESPONDING'

捕获时间错误

from requests.exceptions import ReadTimeout

try:
    source = requests.get(url, timeout=2).text  # <-- you should always use timeout to avoid requests hanging or taking too long to respond
except ReadTimeout:
    print 'TIMEOUT'

您可以像这样查看所有请求异常

for exception in dir(requests.exceptions):
    print exception

读取请求异常文档：https://requests.readthedocs.io/en/latest/user/quickstart/#errors-and-exceptions