具有多个连接的请求

Question

我使用Python Requests库下载一个大文件，例如：

r = requests.get("http://bigfile.com/bigfile.bin")
content = r.content

大文件的下载速度为每秒+-30 Kb，这有点慢。与bigfile服务器的每个连接都受到限制，因此我想建立多个连接。

有没有一种方法可以同时建立多个连接来下载一个文件？

Answer 1

您可以使用HTTPRange标头仅获取文件的一部分（此处已涵盖python）。

只需启动几个线程，并获取每个线程的不同范围，就可以完成；）

def download(url,start):
    req = urllib2.Request('http://www.python.org/')
    req.headers['Range'] = 'bytes=%s-%s' % (start, start+chunk_size)
    f = urllib2.urlopen(req)
    parts[start] = f.read()

threads = []
parts = {}

# Initialize threads
for i in range(0,10):
    t = threading.Thread(target=download, i*chunk_size)
    t.start()
    threads.append(t)

# Join threads back (order doesn't matter, you just want them all)
for i in threads:
    i.join()

# Sort parts and you're done
result = ''.join(parts[i] for i in sorted(parts.keys()))

还要注意，并非每台服务器都支持Range标头（尤其是带有负责数据获取的php脚本的服务器通常不实现标头的处理）。