Python相当于curls--form：使用“form”参数中的数据创建多部分表单数据post请求

Question

我正在寻找与此curl命令等效的python：

 curl --referer "https://myreferer" --insecure --form "myparam=1234" https://myurl

这将导致以下请求（取自httpbin.org/post）：

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "myparam": "1234"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Connection": "close", 
    "Content-Length": "142", 
    "Content-Type": "multipart/form-data; boundary=----------------------------29a1ce32cc53", 
    "Host": "httpbin.org", 
    "Referer": "https://speedport.ip/hcti_start_passwort.stm", 
    "User-Agent": "curl/7.22.0 (x86_64-pc-linux-gnu) libcurl/7.22.0 OpenSSL/1.0.1 zlib/1.2.3.4 libidn/1.23 librtmp/2.3", 
    "X-Request-Id": "c67c4461-89d2-4c9f-a9f4-ebfe312c026c"
  }, 
...

如您所见，数据“myparam”以“form”参数的形式传递。

我试图通过pythonsrequests模块构建这样一个请求，最终得到了以下代码：

import requests
payload={'myparam':'1234'}
url="http://httpbin.org/post"
headers={'User-Agent': 'Mozilla 5.0','referer':'https://myreferer'}
r = requests.post(url, files=payload, headers=headers,verify=False)

但是请求库将数据放在“files”参数中。因此，生成的请求如下所示：

{
  "args": {}, 
  "data": "", 
  "files": {
    "pws": "1234"
  }, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "143", 
    "Content-Type": "multipart/form-data; boundary=a878ad29e28d47ffb00e0631319ed0e2", 
    "Host": "httpbin.org", 
    "Referer": "https://myreferer", 
    "User-Agent": "Mozilla 5.0", 
    "X-Request-Id": "60f5d65e-789a-47fe-bba3-dab88f9bbb65"
...

因此，数据在错误的地方传递，即在“文件”参数中，这使得Apache被“501未实现”响应窒息。

有人能建议如何在Python中执行这样的请求吗？（我知道我可以将curl作为一个子流程调用，但由于我想执行许多这样的请求，所以我希望有一个纯python的解决方案（希望性能更好）。

而且，正如您可能已经注意到的，我还需要接受一个自签名证书并发送一个referer头。

如果有人能提出一个简单的方法来解决这个问题，我会很高兴。

谢谢

编辑：我已经尝试过使用请求的“数据”参数。post命令，但这会导致不同的内容类型标题（application/x-www-form-urlencoded）。请注意curl请求的content-type头。

编辑：我可能需要的是通过请求的headershtml" target="_blank">参数简单地发送正确的内容类型头、多部分/表单数据。指挥所。但我还必须计算“边界”——多部分/表单数据头字符串的一部分。我想一定有一种比手动构造标题和计算边界更简单的方法。

Answer 1

不幸的是，如果您不想将数据作为文件发送，则必须使用第三方库——requests_toolbelt。一旦您pip安装请求toolbelt，您就可以执行以下操作

from requests_toolbelt import MultipartEncoder
import requests

payload = MultipartEncoder({'myparam': '1234'})
r = requests.post(url, data=payload, headers={'Content-Type': payload.content_type})

当然，您也可以设置其他标题，这只是根据您的需求使用工具带的一个快速示例。

如果要验证证书，可以传递带PEM文件完整路径的字符串，例如。，

r = requests.get('https://somesite.com', verify='/Users/mhelwig/certificate.pem')

Answer 2

让我们准备好通话所需的一切，从“常规”材料开始：

>>> import requests
>>> data = {"myparam": "1234"}
>>> headers = {'User-Agent': 'Mozilla 5.0','referer':'https://myreferer'}

强制请求使用Multipart/form-data的技巧是至少给它一个类似文件的对象。

>>> from StringIO import StringIO
>>> buff = StringIO("")

buff现在是我们可以作为files参数的值传入的类似文件的对象。

>>> req = requests.post(url, data=data, headers=headers, stream=True, files=buff)
>>> print req.text
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "myparam": "1234"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "130", 
    "Content-Type": "multipart/form-data; boundary=0b3bbec1f5c844a1b7377aacfe701f02", 
    "Host": "httpbin.org", 
    "Referer": "https://myreferer", 
    "User-Agent": "Mozilla 5.0", 
    "X-Request-Id": "988a0467-1c32-45aa-a75c-fba5aa8d632e"
  }, 
  "json": null, 
  "origin": "85.160.45.204", 
  "url": "http://httpbin.org/post"
}

如果要使用自签名证书与https通信，请使用验证=False：

>>> req = requests.post(url, data=data, headers=headers, stream=True, files=buff, verify=False)

请求的帮助。request还注意到，verify的值可以是“一个CA_BUNDLE路径”，因此您可以明确地确保服务器使用的是您期望的自签名证书。但我从未尝试过这个。