使用Python从Internet下载大型CSV文件的进度

Question

我正在读麦金尼的数据分析书，他共享了150MB文件。虽然这个主题已经在进度条上进行了广泛的讨论，而下载文件超文本传输协议与请求，我发现在接受的答案中的代码抛出一个错误。我是初学者，所以我无法解决这个问题。

我想下载以下文件：

https://raw.githubusercontent.com/wesm/pydata-book/2nd-edition/datasets/fec/P00000001-ALL.csv

以下是没有进度条的代码：

DATA_PATH='./Data'
filename = "P00000001-ALL.csv"
url_without_filename = "https://raw.githubusercontent.com/wesm/pydata-book/2nd-edition/datasets/fec"

url_with_filename = url_without_filename + "/" + filename
local_filename = DATA_PATH + '/' + filename

#Write the file on local disk
r = requests.get(url_with_filename)  #without streaming
with open(local_filename, 'w', encoding=r.encoding) as f:
    f.write(r.text)

这很有效，但是因为没有进度条，我想知道发生了什么。

下面是通过http下载带有请求的文件时从进度条改编的代码，以及如何使用python下载带有请求的大型文件。皮耶？

#Option 2:
#Write the file on local disk
r = requests.get(url_with_filename, stream=True)  # added stream parameter
total_size = int(r.headers.get('content-length', 0))

with open(local_filename, 'w', encoding=r.encoding) as f:
    #f.write(r.text)
    for chunk in tqdm(r.iter_content(1024), total=total_size, unit='B', unit_scale=True):
        if chunk:
            f.write(chunk)

第二个选项（即流和tqdm包）有两个问题：

a） 文件大小计算不正确。实际大小为157MB，但总大小为25MB。

b） 比a）更大的问题是我得到了以下错误：

 0%|          | 0.00/24.6M [00:00<?, ?B/s] Traceback (most recent call last):   File "C:\Anaconda3\lib\site-packages\IPython\core\interactiveshell.py", line 3265, in run_code
    exec(code_obj, self.user_global_ns, self.user_ns)   File "<ipython-input-31-abbe9270092b>", line 6, in <module>
    f.write(data) TypeError: write() argument must be str, not bytes

作为初学者，我不确定如何解决这两个问题。我花了很多时间浏览TQM的git页面，但我没能理解它。我非常感谢你的帮助。

我假设读者知道我们需要导入请求和tqdm。所以，我还没有包括导入这些基本包的代码。

这是给那些好奇的人的代码：

with open(local_filename, 'wb') as f:
    r = requests.get(url_with_filename, stream=True)  # added stream parameter
    # total_size = int(r.headers.get('content-length', 0))
    local_filename = DATA_PATH + '/' + filename
    total_size = len(r.content)
    downloaded = 0
    # chunk_size = max(1024*1024,int(total_size/1000))
    chunk_size = 1024
    #for chunk in tqdm(r.iter_content(chunk_size=chunk_size),total=total_size,unit='KB',unit_scale=True):
    for chunk in r.iter_content(chunk_size=chunk_size):
        downloaded += len(chunk)
        a=f.write(chunk)
        done = int(50 * downloaded/ total_size)
        sys.stdout.write("\r[%s%s]" % ('=' * done, ' ' * (50 - done)))
        sys.stdout.flush()

Answer 1

试着用wb而不仅仅是w来写。

with open( local_filename, 'wb', encoding= r.encoding ) as f:
    f.write( r.text )

Answer 2

with open(filename, 'wb', encoding=r.encoding) as f:
    f.write(r.content)

这会解决你的写作问题。写r.content不是r.text，因为类型（r.content）是

Answer 3

正如错误所说：

write（）参数必须是str，而不是bytes

因此，只需将块转换为字符串：

f.write(str(chunk))

注：相反，我建议写信给一位女士。bin文件，然后将其转换为。csv