python请求：post和大内容

Question

我正在使用POST请求向服务器发送CSV文件。

我正在使用一个类似文件的对象与requests.post

如果CSV文件相当大，并且我的内存有限，或者我使用类似文件的对象将永远不会在内存中加载整个文件，那么会有问题吗？我对此不确定。

我知道有流选项，但听起来更像是为了获得响应而不是发送数据。

headers = {
    'content-type': 'text/csv',
}
csvfile = '/path/file.csv'
with open(csvfile) as f:
    r = requests.post(url, data=f, headers=headers)

Answer 1

这不会将整个文件加载到内存中，它将被分成块并一次传输一点。您可以在这里的源代码中看到这一点。

Answer 2

使用打开的文件对象作为数据参数可确保请求将为您流式传输数据。

如果可以（通过操作系统文件系统）确定文件大小，则使用8kb缓冲区对文件对象进行流式传输。如果无法确定文件大小，则发送传输编码：chunked请求，改为每行发送数据（对象用作iterable）。

另一方面，如果要对多部分POST使用files=参数，则文件将在发送之前加载到内存中。使用requests toolbelt包以流式传输多部分上载：

import requests
from requests_toolbelt.multipart.encoder import MultipartEncoder

csvfile = '/path/file.csv'
with open(csvfile) as f:
    m = MultipartEncoder(fields={'csv_field_name': ('file.csv', f, 'text/csv')})
    headers = {'Content-Type': m.content_type}
    r = requests.post(url, data=m, headers=headers)