米旋草硒

Question

我正在尝试使用mitmproxy来捕获使用Selenium的python脚本生成的流量。我的脚本设法通过代理传递我的请求，但是流量看起来不像我期望的那样(见下文)。我的脚本如下:

#!/usr/bin/python3

from selenium import webdriver
from selenium.webdriver.common.proxy import *
from selenium.webdriver.firefox.options import Options


def main():

    options = Options()
    options.accept_untrusted_certs = True
    options.add_argument("--headless")
    myProxy = "0.0.0.0:8080"
    options.proxy = Proxy({
        'proxyType': ProxyType.MANUAL,
        'httpProxy': myProxy,
        'sslProxy': myProxy,
        'noProxy': ''
    })
    driver = webdriver.Firefox(options=options)

    driver.get('http://example.com')

    driver.quit()


if __name__=="__main__":
    main()

为了观察上述脚本生成的响应，我将mitmDum与以下脚本一起使用：

from mitmproxy import ctx

def response(flow):
    print(flow.response.data.content)

它产生以下输出：

127.0.0.1:35966： clientconnect
b\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\xff}TMs\xdb\x10\xbd\xfbWl\xd5K2#$'i\x1a\x8f-i\xfa\x99i\x0fi\x0fi\x0f=\x12\xb1\xb2\x98\x08P\x01\xc9\xf6t\xf2\xdf\xbbB\x8e#7\x99\x9a\x91\x81]x\xbb\xef\xb1\x90\xbd\x12\xa6\xf4\xbb\x16\xa1\xf6\xaa）f\xd9c\x87\\x143\xa0_\xe6\xa5o\xb0\xf8\xbc\xe5\x

flow.response.data.content似乎已加密。令人困惑的是，如果我简单地运行mitmproxy(不是mitmdump)并打开相应的流，我可以在交互式UI中观察到未加密的响应。另外，当我通过curl命令发出这个请求时:

curl --proxy http://0.0.0.0:8080 https://example.com

如我所料，我通过mitmproxy和mitmdump获得了未加密的流量。只有通过selenium mitmdump，我才会遇到这个问题。

我已将mitmagent证书添加到我的Firefox配置文件和系统中，但无济于事。

Answer 1

这个问题不是加密的问题，而是编码的问题。查看flow.response.data.headers可以发现响应具有gzip编码。使用以下带有mitmDump的脚本：

from mitmproxy import ctx
import zlib

def response(flow):

    try:
        content = zlib.decompress(flow.response.data.content, 16+zlib.MAX_WBITS)
    except:
        content = flow.response.data.content

    print(content)

正确解码数据以打印预期结果。在更强大的脚本中，我们可以通过从标头读取编码来决定如何解码数据。

Answer 2

问题是您打印了 flow.response.data.内容（.data 不是公共 API，请参阅文档）。如果您要改用 flow.response.content，则中释应自动解压缩内容：

def response(flow):
    print(flow.response.content)