Python请求，如何限制接收大小，传输速率和/或总时间？

Question

我的服务器会发出外部请求，但我想限制失败请求可能造成的损害。在以下情况下，我希望取消请求：

• 请求的总时间超过一定限制（即使数据仍在到达中）
• 接收到的总大小超出某个限制（我需要先取消才能接受更多数据）
• 传输速度下降到某个水平以下（尽管如果可以提供总时限，我可以没有这个水平）

注意我不是timeout在请求中寻找参数，因为这仅是针对不活动的超时。我找不到与总超时或限制总大小有关的方法。一个示例显示了一个maxsize参数，HTTPAdapter但没有记录。

如何使用达到这些要求requests？

Answer 1

您可以尝试设置stream=True，然后在读取数据块时超出时间或大小限制时中止请求。

从requests版本2.3.0开始，超时也适用于流请求，因此您需要做的就是允许初始连接和每个迭代步骤都超时：

r = requests.get(..., stream=True, timeout=initial_timeout)
r.raise_for_status()

if int(r.headers.get('Content-Length')) > your_maximum:
    raise ValueError('response too large')

size = 0
start = time.time()

for chunk in r.iter_content(1024):
    if time.time() - start > receive_timeout:
        raise ValueError('timeout reached')

    size += len(chunk)
    if size > your_maximum:
        raise ValueError('response too large')

    # do something with chunk

根据需要调整超时时间。

对于requests版本低于2.3.0（包括此更改）的版本，您无法超时r.iter_content()。在块中间停止响应的服务器仍会占用连接。您必须将以上代码包装在其他超时功能中，以尽早切断长时间运行的响应。