使用Tornado将二进制文件流式传输到Google Storage

Question

我正试图通过我的服务器将一个二进制文件从客户端请求流到谷歌云存储。

我使用Tornado框架将数据从请求流到服务器，并使用Google Cloud Storage API将文件流到Google-upload_from_file方法。

我是Tornado的新手，我正在使用@stream_request_body装饰器，这样我就可以从请求中获取数据块，并将每个块上传到Google。

我试着打开一个类似文件的对象，我可以在将文件本身上传到谷歌的同时编写每一个块。

问题是，我不能上传‘文件’到谷歌之前，我开始写块到它。

如有任何协助，将不胜感激。

Answer 1

使用Google的HTTP库进行此操作是很棘手的，因为它们是为同步使用而设计的。您需要将实际上传放到另一个线程上，以避免阻塞IOLOOP。您可以使用os.pipe在Tornado线程和upload线程之间进行通信（将管道的写入端包装在PipeIOStream中，将读取端包装在os.fdopen)。以下是一个未经测试的解决方案草图：

def prepare(self):
    r, w = os.pipe()
    self.write_pipe = tornado.iostream.PipeIOStream(w)
    # Create our "file-like object" for upload_from_file
    self.read_pipe = os.fdopen(r)
    # Create an event for the upload thread to communicate back
    # to tornado when it's done, and save a reference to our IOLoop.
    self.upload_done = tornado.locks.Event()
    self.io_loop = tornado.ioloop.IOLoop.current()
    # Consider using a tornado.locks.Semaphore to limit the number of
    # threads you can create.
    self.thread = threading.Thread(target=self.upload_file)
    self.thread.start()

def upload_file(self):
    google_client.upload_from_file(self.read_pipe)
    # tell the IOLoop thread we're finished
    self.io_loop.add_callback(self.upload_done.set)

async def data_received(self, chunk):
    await self.write_pipe.write(chunk)

async def put(self):  # or post()
    self.write_pipe.close()
    await self.upload_done.wait()
    self.thread.join()
    self.render("upload_done.html")

或者，您可以避免使用Google的同步库，而使用底层HTTP API和AsynchTTPClient完成所有操作。通过这种方式来整理身份验证是很棘手的，但您可以避免线程不匹配。这将涉及使用body_producer，如本文中所述