PycURL附件和进度函数

Question

使用API处理一个小项目，您可以向该API发送请求，然后它会返回一个带有zip文件的响应，您可以下载该文件。我的第一次自动化下载尝试使用setopt（curl.WRITEDATA，fp）函数，但每次尝试都会导致Python脚本崩溃。然后，我改变了策略，使用WRITEFUNCTION将数据写入缓冲区，然后将数据写入一个工作稳定的文件。

这一切都很好，但后来我想添加一个进度条，看看文件下载了多少，并给出一些用户反馈等。这就是事情开始变得奇怪的地方，因为现在进度条在一秒钟内达到100%，zip文件还没有完成下载。当我修改了我的进度函数，只打印下载文件的大小时，它报告了大约100字节的数量（比zip文件小得多）。是否可以使用pycurl（以及下面的curl）中的函数来跟踪附件下载的进度，而不是请求本身？

另外，如果有人能帮助解决WRITEDATA问题，我想这两个问题可能是相互关联的。

Answer 1

对于@Elliot G.tqdm的答案，我们应该只得到一个标题，而不是像这样的整个身体；

# show progress % and amount in bytes
r = requests.head(url)   # <==============================
total_size = int(r.headers.get('content-length', 0))
block_size = 1024

由于缺乏声誉，我无法对@Elliot G.的回答发表评论，所以我发布了这篇文章。

Answer 2

以下代码将使用pycurl下载一个文件，并显示当前进度（文本）：

import pycurl
# for displaying the output text
from sys import stderr as STREAM

# replace with your own url and path variables
url = "http://ovh.net/files/100Mb.dat"
path = 'test_file.dat'

# use kiB's
kb = 1024

# callback function for c.XFERINFOFUNCTION
def status(download_t, download_d, upload_t, upload_d):
    STREAM.write('Downloading: {}/{} kiB ({}%)\r'.format(
        str(int(download_d/kb)),
        str(int(download_t/kb)),
        str(int(download_d/download_t*100) if download_t > 0 else 0)
    ))
    STREAM.flush()

# download file using pycurl
with open(path, 'wb') as f:
    c = pycurl.Curl()
    c.setopt(c.URL, url)
    c.setopt(c.WRITEDATA, f)
    # display progress
    c.setopt(c.NOPROGRESS, False)
    c.setopt(c.XFERINFOFUNCTION, status)
    c.perform()
    c.close()

# keeps progress onscreen after download completes
print()

输出应该是这样的：

Downloading: 43563/122070 kiB (35%)

如果您想使用实际的进度条，也可以这样做。但这需要更多的工作。

以下代码使用tqdm包生成进度条。它在文件下载时实时更新，还显示下载速度和估计剩余时间。由于tqdm工作方式的限制，还需要请求包。这也与total\u dl\u d变量是数组而不是整数的原因有关。

import pycurl
# needed to predict total file size
import requests
# progress bar
from tqdm import tqdm

# replace with your own url and path variables
url = "http://ovh.net/files/10Mb.dat"
path = 'test_file.dat'

# show progress % and amount in bytes
r = requests.get(url)
total_size = int(r.headers.get('content-length', 0))
block_size = 1024

# create a progress bar and update it manually
with tqdm(total=total_size, unit='iB', unit_scale=True) as pbar:
    # store dotal dl's in an array (arrays work by reference)
    total_dl_d = [0]
    def status(download_t, download_d, upload_t, upload_d, total=total_dl_d):
        # increment the progress bar
        pbar.update(download_d - total[0])
        # update the total dl'd amount
        total[0] = download_d

    # download file using pycurl
    with open(path, 'wb') as f:
        c = pycurl.Curl()
        c.setopt(c.URL, url)
        c.setopt(c.WRITEDATA, f)
        # follow redirects:
        c.setopt(c.FOLLOWLOCATION, True)
        # custom progress bar
        c.setopt(c.NOPROGRESS, False)
        c.setopt(c.XFERINFOFUNCTION, status)
        c.perform()
        c.close()

解释所述问题的可能原因：

（问题中没有提供代码，因此我必须猜测一下究竟是什么导致了上述问题…）

基于变量名（fp即文件路径）
文件写入（WRITEDATA）问题可能是由于提供了文件路径（str）而不是文件对象（io.BufferedWriter）。

根据我自己的经验
在文件下载过程中反复调用XFERINFOFUNCTION回调函数。回调仅提供总文件大小和已下载的总文件大小作为参数。它不计算自上次调用以来的增量（差异）。进度条中描述的问题（“进度条在一秒钟内达到100%，zip文件尚未完成下载”）可能是由于当预计增量时，总下载量（下载量）被用作更新量。如果进度条每次按总下载量递增，那么它将不会反映实际下载量。它将显示出更大的数量。然后，它将超过100%，并出现各种故障。

来源：

• Pycurl文档（关于回调）
• PyPi上的TQDM（进度条）包
• 通过http和请求下载文件时的进度条