如何使用python请求上载文件？

Question

我正在执行使用Python请求库上传文件的简单任务。我搜索了Stack Overflow，似乎没有人遇到同样的问题，即服务器无法接收文件：

import requests
url='http://nesssi.cacr.caltech.edu/cgi-bin/getmulticonedb_release2.cgi/post'
files={'files': open('file.txt','rb')}
values={'upload_file' : 'file.txt' , 'DB':'photcat' , 'OUT':'csv' , 'SHORT':'short'}
r=requests.post(url,files=files,data=values)

我正在用我的文件名填充upload_file关键字的值，因为如果我把它留空，它会说

Error - You must select a file to upload!

现在我得到了

File  file.txt  of size    bytes is  uploaded successfully!
Query service results:  There were 0 lines.

只有当文件为空时才会显示。所以我一直在思考如何成功地发送文件。我知道这个文件是有效的，因为如果我去这个网站手动填写表单，它会返回一个匹配html" target="_blank">对象的列表，这就是我想要的。我真的很感激所有的提示。

其他一些相关的线程（但没有回答我的问题）：

• 使用POST从Python脚本发送文件
• http://docs.python-requests.org/en/latest/user/quickstart/#response-content
• 使用请求上传文件并发送额外的数据
• http://docs.python-requests.org/en/latest/user/advanced/#body-content-workflow

Answer 1

如果要使用Pythonrequestslibrary上载单个文件，那么requests lib支持流式上载，这允许您发送大文件或流而无需读取内存。

with open('massive-body', 'rb') as f:
    requests.post('http://some.url/streamed', data=f)

然后将文件存储在服务器上。py侧，以便将流保存到文件中而不加载到内存中。下面是使用Flask文件上载的示例。

@app.route("/upload", methods=['POST'])
def upload_file():
    from werkzeug.datastructures import FileStorage
    FileStorage(request.stream).save(os.path.join(app.config['UPLOAD_FOLDER'], filename))
    return 'OK', 200

或者使用werkzeug表单数据解析，如修复“大文件上传占用内存”问题中提到的，以避免在大文件上传（s. t.22 GiB文件在〜60秒。内存使用量恒定在约13 MiB。）

@app.route("/upload", methods=['POST'])
def upload_file():
    def custom_stream_factory(total_content_length, filename, content_type, content_length=None):
        import tempfile
        tmpfile = tempfile.NamedTemporaryFile('wb+', prefix='flaskapp', suffix='.nc')
        app.logger.info("start receiving file ... filename => " + str(tmpfile.name))
        return tmpfile

    import werkzeug, flask
    stream, form, files = werkzeug.formparser.parse_form_data(flask.request.environ, stream_factory=custom_stream_factory)
    for fil in files.values():
        app.logger.info(" ".join(["saved form name", fil.name, "submitted as", fil.filename, "to temporary file", fil.stream.name]))
        # Do whatever with stored file at `fil.stream.name`
    return 'OK', 200

Answer 2

（2018）新的python请求库简化了这个过程，我们可以使用“files”变量来表示我们想要上传一个多部分编码的文件

url = 'http://httpbin.org/post'
files = {'file': open('report.xls', 'rb')}

r = requests.post(url, files=files)
r.text

Answer 3

如果upload\u文件是该文件，请使用：

files = {'upload_file': open('file.txt','rb')}
values = {'DB': 'photcat', 'OUT': 'csv', 'SHORT': 'short'}

r = requests.post(url, files=files, data=values)

并且请求将发送一个包含多个部分的表单POST正文，其中upload_file字段设置为file.txt文件的内容。

文件名将包含在特定字段的mime标头中：

>>> import requests
>>> open('file.txt', 'wb')  # create an empty demo file
<_io.BufferedWriter name='file.txt'>
>>> files = {'upload_file': open('file.txt', 'rb')}
>>> print(requests.Request('POST', 'http://example.com', files=files).prepare().body.decode('ascii'))
--c226ce13d09842658ffbd31e0563c6bd
Content-Disposition: form-data; name="upload_file"; filename="file.txt"


--c226ce13d09842658ffbd31e0563c6bd--

请注意filename="file.txt"参数。

如果需要更多的控制，可以为文件映射值使用一个元组，其中包含2到4个元素。第一个元素是文件名，后面是内容、可选的内容类型标题值和其他标题的可选映射：

files = {'upload_file': ('foobar.txt', open('file.txt','rb'), 'text/x-spam')}

这将设置一个可选的文件名和内容类型，省去可选的标题。

如果您想从一个文件（没有指定其他字段）中获取整个帖子正文，那么不要使用files参数，只需将该文件直接作为数据发布即可。然后，您可能还需要设置内容类型标题，否则不会设置任何标题。请参见Python请求-从文件发布数据。