如何恢复文件下载在Python 3.5？[重复]

Question

我正在使用Python3.5请求模块下载一个文件，使用下面的代码，如何使这段代码“自动恢复”从部分下载的文件下载。

response = requests.get(url, stream=True)

total_size = int(response.headers.get('content-length'))  

with open(file_path + file_name, "wb") as file:
    for data in tqdm(iterable = response.iter_content(chunk_size = 1024), total = total_size//1024, unit = 'KB'):
        file.write(data)

如果可能的话，我宁愿只使用请求模块来实现这一点。

Answer 1

我不认为请求内置了这个功能，但是您可以很容易地手动完成它（只要服务器支持它）。

关键是范围请求。要获取从字节12345开始的部分资源，请添加以下标头：

Range: bytes=12345-

然后您可以将结果附加到您的文件中。

理想情况下，您应该验证返回的是206部分内容，而不是200，并且标题包含您想要的范围：

Content-Range: bytes 12345-123456/123456
Content-Length: 111112

您还可能希望预先验证服务器是否处理范围。您可以通过查看初始响应中的标头来实现这一点，或者通过执行HEAD来检查以下内容：

Accept-Ranges: bytes

如果标头完全丢失，或具有none作为值，或具有不包含字节的值列表，则服务器不支持恢复。

还可以检查Content-L长度，以验证您在中断之前是否已经完成了整个文件。

所以，代码看起来像这样：

def fetch_or_resume(url, filename):
    with open(filename, 'ab') as f:
        headers = {}
        pos = f.tell()
        if pos:
            headers['Range'] = f'bytes={pos}-'
        response = requests.get(url, headers=headers, stream=True)
        if pos:
            validate_as_paranoid_as_you_want_to_be_(pos, response)
        total_size = int(response.headers.get('content-length'))  
        for data in tqdm(iterable = response.iter_content(chunk_size = 1024), total = total_size//1024, unit = 'KB'):
            file.write(data)

编写下载管理器类型软件的人的一个常见错误是试图跟踪以前的请求中读取了多少。不要这样做，只是用文件本身告诉你你有多少。毕竟，如果您读取了23456个字节，但只将12345刷新到文件中，则需要从12345开始。