通过http和请求下载文件时的进度条

Question

我需要下载一个相当大的（~200MB）文件。我在这里找到了下载和保存文件的方法。如果有一个进度条来知道下载了多少，那就太好了。我找到ProgressBar，但我不知道如何将两者结合起来。

这是我试过的代码，但不起作用。

bar = progressbar.ProgressBar(max_value=progressbar.UnknownLength)
with closing(download_file()) as r:
    for i in range(20):
        bar.update(i)

Answer 1

进度条使用页面上的示例与代码实际需要的内容之间似乎存在脱节。

在下面的示例中，请注意使用了maxval而不是max\u value。还要注意的使用。start（）初始化该条。这一点已在一期中提到。

n_chunk参数表示在循环通过请求迭代器时一次要传输多少1024KB的块。

import requests
import time

import numpy as np

import progressbar


url = "http://wikipedia.com/"

def download_file(url, n_chunk=1):
    r = requests.get(url, stream=True)
    # Estimates the number of bar updates
    block_size = 1024
    file_size = int(r.headers.get('Content-Length', None))
    num_bars = np.ceil(file_size / (n_chunk * block_size))
    bar =  progressbar.ProgressBar(maxval=num_bars).start()
    with open('test.html', 'wb') as f:
        for i, chunk in enumerate(r.iter_content(chunk_size=n_chunk * block_size)):
            f.write(chunk)
            bar.update(i+1)
            # Add a little sleep so you can see the bar progress
            time.sleep(0.05)
    return

download_file(url)

编辑：关于代码清晰性的评论
EDIT2：修复了逻辑，因此bar在完成时报告100%。要归功于leovp使用1024KB块大小的回答。

Answer 2

tqdm包现在包含了一个专门为这种情况设计的函数：wrapattr。您只需包装一个对象的read（或写）属性，tqdm处理其余的属性；没有与块大小或类似的东西相混淆。这里有一个简单的下载函数，它把所有的请求放在一起：

def download(url, filename):
    import functools
    import pathlib
    import shutil
    import requests
    from tqdm.auto import tqdm
    
    r = requests.get(url, stream=True, allow_redirects=True)
    if r.status_code != 200:
        r.raise_for_status()  # Will only raise for 4xx codes, so...
        raise RuntimeError(f"Request to {url} returned status code {r.status_code}")
    file_size = int(r.headers.get('Content-Length', 0))

    path = pathlib.Path(filename).expanduser().resolve()
    path.parent.mkdir(parents=True, exist_ok=True)

    desc = "(Unknown total file size)" if file_size == 0 else ""
    r.raw.read = functools.partial(r.raw.read, decode_content=True)  # Decompress if needed
    with tqdm.wrapattr(r.raw, "read", total=file_size, desc=desc) as r_raw:
        with path.open("wb") as f:
            shutil.copyfileobj(r_raw, f)

    return path

Answer 3

我建议你试试TQM，它很容易使用。使用请求库下载的示例代码：

from tqdm import tqdm
import requests

url = "http://www.ovh.net/files/10Mb.dat" #big file test
# Streaming, so we can iterate over the response.
response = requests.get(url, stream=True)
total_size_in_bytes= int(response.headers.get('content-length', 0))
block_size = 1024 #1 Kibibyte
progress_bar = tqdm(total=total_size_in_bytes, unit='iB', unit_scale=True)
with open('test.dat', 'wb') as file:
    for data in response.iter_content(block_size):
        progress_bar.update(len(data))
        file.write(data)
progress_bar.close()
if total_size_in_bytes != 0 and progress_bar.n != total_size_in_bytes:
    print("ERROR, something went wrong")