Python请求速度很慢，完成HTTP或HTTPS请求需要很长时间

Question

import requests
requests.get("https://www.example.com/")

Answer 1

import requests
import logging

import http.client
http.client.HTTPConnection.debuglevel = 1

# You must initialize logging, otherwise you'll not see debug output.
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

requests.get("https://www.example.com")

requests.head("https://www.example.com")

requests.get("https://www.example.com", stream=True)

import requests
session = requests.Session()
for _ in range(10):
    session.get("https://www.example.com")

from concurrent.futures import as_completed
from requests_futures.sessions import FuturesSession

with FuturesSession() as session:
    futures = [session.get("https://www.example.com") for _ in range(10)]
    for future in as_completed(futures):
        response = future.result()

requests.get("https://www.google.com")

服务器可能专门阻止请求，或者它们可能使用白名单，或者其他原因。要发送更好的用户代理字符串，请尝试以下方法（源代码）：

headers = {"User-Agent": "Mozilla/5.0 (X11; CrOS x86_64 12871.102.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.141 Safari/537.36"}
requests.get("https://www.example.com", headers=headers)

如果这个问题只是有时发生，例如，在几个请求之后，服务器可能会限制您的速率。检查响应，看看它是否读到了这些内容（例如，“达到速率限制”、“超过工作队列深度”或类似的内容；源）。

这里，解决方案只是在请求之间等待更长时间，例如使用time.sleep()。

您可以通过不读取从服务器接收的响应来检查这一点。如果代码仍然很慢，这不是您的问题，但如果解决了这个问题，问题可能在于解析响应。

1. 如果某些标头设置不正确，可能会导致解析错误，从而阻止分块传输（源）。
2. 在其他情况下，手动设置编码可以解决解析问题（源）。

要解决这些问题，请尝试：

r = requests.get("https://www.example.com")
r.raw.chunked = True # Fix issue 1
r.encoding = 'utf-8' # Fix issue 2
print(response.text)

这可能是所有发现的最糟糕的问题。检查这一点的一个简单但有点奇怪的方法是添加timeout参数，如下所示：

requests.get("https://www.example.com/", timeout=5)

如果返回一个成功的响应，问题应该出在IPv6上。原因是请求首先尝试IPv6连接。当超时时，它尝试通过IPv4连接。通过将超时设置为低，您可以强制它在更短的时间内切换到IPv4。

通过使用例如wget或curl进行验证：

wget --inet6-only https://www.example.com -O - > /dev/null
# or
curl --ipv6 -v https://www.example.com

在这两种情况下，我们都强制该工具通过IPv6连接以隔离问题。如果超时，请重试强制IPv4:

wget --inet4-only https://www.example.com -O - > /dev/null
# or
curl --ipv4 -v https://www.example.com

如果这个工作正常，你已经发现了你的问题！但是怎么解决呢，你问？

null