解析从post请求接收的多部分/表单数据

Question

我正在使用请求库编写Web服务客户端。我正在获取包含文件和文本json的多部分/表单数据。我不知道如何html" target="_blank">解析它。是否有合适的库来解析python中的多部分/表单数据格式，或者我应该自己编写解析器？

我的代码：

data = {
  "prototypeModel" :('prototypeModel', open(prototypeModel, 'rb'), 'application/octet-stream', {'Expires': '0'}),
  "mfcc_1" : ('mfcc', open(mfcc_1, 'rb'), 'application/octet-stream', {'Expires': '0'}),
  "mfcc_2" : ('mfcc', open(mfcc_2, 'rb'), 'application/octet-stream', {'Expires': '0'}),
  "mfcc_3" : ('mfcc', open(mfcc_3, 'rb'), 'application/octet-stream', {'Expires': '0'}),
}

print( '---------------------- start enroll ----------------------')
testEnrollResponse = requests.post(server+sessionID, files = data, json = declaredParameters)

b'\r\n--c00750d1-8ce4-4d29-8390-b50bf02a92cc\r\nContent-Displace： form-data； name="playback Hash"\r\nContent-Type： Application/octet-stream\r\n\r\n\x16\x00\x00\x00\x00\x00\x00\x00序列化::archive\n\x00\x04\x08\x04...... x00\x00R\x94\x9bp\x8c\x00\r\n--c00750d1-8ce4-4d29-8390-b50bf02a92cc\r\n内容配置：form-data； name="usersMFCC"\r\n内容类型：应用程序/八位流\r\n\r\n\x16\x00\x00\x00\x00\x00\x00\x00\x00序列化::archive\n\x00\x04\x08\x04\x04\x08\x01\x00\x00\x00\x00\x00\x00\x00\x00\xf8\x16\x00\x00\x00\x00\x00\x00\x00u\xbd\xb4/\xda1\xea\xbf\x0f\xa2

我用“…”替换了更多的二进制数据

Answer 1

下面是解析多部分数据的工作示例。您可以在交互式python提示符下进行尝试。

import email

msg = email.message_from_string('''\
MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="    XXXX"

--    XXXX
Content-Type: text/plain


--    XXXX
Content-Type: text/plain

--    XXXX--
''')

msg.is_multipart()

一旦您知道它在您的系统上工作，您就可以用POST数据构建您自己的电子邮件，并以相同的方式对其进行解析。如果您将原始帖子正文作为字符串，那么其余必要的信息可以在请求头中找到。为了清晰起见，我在这里添加了缩进，在块字符串中不应该有额外的缩进。

    epost_data = '''\
MIME-Version: 1.0
Content-Type: %s

%s''' % (self.headers['content-type'], post_data)

    msg = email.message_from_string(post_data)

    if msg.is_multipart():
        for part in msg.get_payload():
            name = part.get_param('name', header='content-disposition')
            filename = part.get_param('filename', header='content-disposition')
            # print 'name %s' % name # "always" there
            # print 'filename %s' % filename # only there for files...
            payload = part.get_payload(decode=True)
            print payload[:100] # output first 100 characters

第一个%s将替换为内容类型，第二个替换为post_data。然后，您可以将有效载荷写入文件等。

小心考虑保存文件的安全性含义。您可能无法信任发布的文件名，它可能以开头/文件名。sh例如，在某些web服务器上，因此如果您尝试编写/my folder/。//文件名。sh攻击者可能将恶意文件放置在您试图存储文件的位置之外。还建议在信任文件本身之前对允许的文件类型进行强验证。您不想让攻击者覆盖系统上的任何文件。

Answer 2

烧瓶用代码样品，用途https://github.com/defnull/multipart

import multipart as mp
from multipart import tob

try:
    from io import BytesIO
except ImportError:
    from StringIO import StringIO as BytesIO

@app.route('/', methods=["GET","POST"])
def index():
        ...
        elif flask.request.method == "POST":
                data = flask.request.data
                s = data.split("\r")[0][2:]
                p = mp.MultipartParser(BytesIO(tob(data)),s)
                blob = p.parts()[0].value
                f = open("file.bin","wb")
                f.write(blob.encode("latin-1"))
                f.close()

Answer 3

如果您正在接收一个多部分/表单数据响应，您可以使用请求工具带库对其进行解析，如下所示：

$ pip install requests-toolbelt

安装好之后

from requests_toolbelt.multipart import decoder

testEnrollResponse = requests.post(...)
multipart_data = decoder.MultipartDecoder.from_response(testEnrollResponse)

for part in multipart_data.parts:
    print(part.content)  # Alternatively, part.text if you want unicode
    print(part.headers)