如何在Python3上使用tornado代理大型内容？

Question

我试图实现异步超文本传输协议反向代理与Python3上的龙卷风。

处理程序类如下：

class RProxyHandler(tornado.web.RequestHandler):

    @tornado.web.asynchronous
    def get(self):
        backend_url = 'http://backend-host/content.html'   # temporary fixed

        req = tornado.httpclient.HTTPRequest(
                                    url=backend_url)
        http_client = tornado.httpclient.AsyncHTTPClient()
        http_client.fetch(req, self.backend_callback)

    def backend_callback(self, response):
        self.write(response.body)
        self.finish()

当content.html很小时，这段代码工作正常。但是对于content.html，这段代码会引发异常：

ERROR:tornado.general:Reached maximum read buffer size

我找到了用pycurl处理大型内容的方法。不过，它似乎不适用于Python3。

此外，我还向HTTPRequest添加了streaming_回调选项。但当后端服务器禁用分块响应时，将不会调用回调。

我如何处理大的内容？

谢谢

Answer 1

您应该能够将max\u buffer\u size传递给tornado.httpclient.asynchtpclient（）调用以设置最大缓冲区大小。对于50MB缓冲区：

import tornado.ioloop
import tornado.web
from tornado.httpclient import AsyncHTTPClient
from tornado import gen
from tornado.web import asynchronous


class MainHandler(tornado.web.RequestHandler):
    client = AsyncHTTPClient(max_buffer_size=1024*1024*150)

    @gen.coroutine
    @asynchronous
    def get(self):
        response = yield self.client.fetch("http://test.gorillaservers.com/100mb.bin", request_timeout=180)
        self.finish("%s\n" % len(response.body))

application = tornado.web.Application([
    (r"/", MainHandler),
])

if __name__ == "__main__":
    application.listen(8888)
    tornado.ioloop.IOLoop.instance().start()

更新：现在是一个完整的示例程序。