无法上传>~2GB到谷歌云存储

Question

追踪下面。

相关的Python片段：

bucket = _get_bucket(location['bucket'])
blob = bucket.blob(location['path'])
blob.upload_from_filename(source_path)

最终触发（从ssl库）：

溢出错误：字符串长度超过2147483647字节

我想我缺少一些特殊的配置选项？

这可能与这名1.5岁的年轻人有关，显然他还没有解决问题：https://github.com/googledatalab/datalab/issues/784.

谢谢你的帮助！

完整跟踪：

[File”/usr/src/app/gcloud/download_data.py“，第109行，在******blob.upload_文件名（源路径）中

文件“/usr/local/lib/python3.5/dist-packages/google/cloud/storage/blob.py”，第992行，在upload\u from\u文件名大小=总字节数）

文件“/usr/local/lib/python3.5/dist-packages/google/cloud/storage/blob.py”，第946行，上传自文件客户端，文件对象，内容类型，大小，重试次数）

文件“/usr/local/lib/python3.5/dist-packages/google/cloud/storage/blob.py”，第867行，输入上传客户端、流、内容类型、大小、重试次数）

文件“/usr/local/lib/python3.5/dist packages/google/cloud/storage/blob.py”，第700行，多部分上传传输，数据，对象元数据，内容类型）

文件“/usr/local/lib/python3.5/dist packages/google/resumable\u media/requests/upload.py”，第97行，传输重试策略=self.\u重试策略）

文件“/usr/local/lib/python3.5/dist packages/google/resumable\u media/requests/\u helpers.py”，第101行，http\u request func，RequestsMixin.\u获取状态代码，重试策略）

文件“/usr/local/lib/python3.5/dist packages/google/resumable\u media/\u helpers.py”，第146行，在wait\u和\u retry response=func（）中

文件“/usr/local/lib/python3.5/dist packages/google/auth/transport/requests.py”，第186行，在请求方法中，url，data=data，headers=request\u headers，**kwargs）

文件“/usr/local/lib/python3.5/dist-packages/requests/sessions.py”，第508行，在request resp=self.send（prep，**send_-kwargs）中

文件“/usr/local/lib/python3.5/dist-packages/requests/sessions.py”，第618行，在send r=adapter.send（request，**kwargs）中

文件“/usr/local/lib/python3.5/dist-packages/requests/adapters.py”，第440行，发送超时=超时

文件“/usr/local/lib/python3.5/dist packages/urllib3/connectionpool.py”，第601行，urlopen chunked=chunked）

文件“/usr/local/lib/python3.5/dist packages/urllib3/connectionpool.py”，第357行，在请求conn.request中（方法，url，**httplib\u请求）

文件“/usr/lib/python3.5/http/client.py”，第1106行，请求self.\u send.\u请求（方法、url、正文、标题）

文件“/usr/lib/python3.5/http/client.py”，第1151行，在发送请求self.endheaders（body）中

文件"/usr/lib/python3.5/超文本传输协议/client.py"，第1102行，在结束标题中。_send_output（message_body）

文件“/usr/lib/python3.5/http/client.py”，第936行，在发送输出self.send（消息体）中

文件"/usr/lib/python3.5/超文本传输协议/client.py"，第908行，发送self.sock.sendall（数据）

sendall v=self.send中的文件“/usr/lib/python3.5/ssl.py”，第891行（数据[计数：）

文件“/usr/lib/python3.5/ssl.py”，第861行，在发送返回self.\u sslobj.write（数据）中

文件"/usr/lib/python3.5/ssl.py"，第586行，写回车。_sslobj.write（数据）

溢出错误：字符串长度超过2147483647字节

Answer 1

问题是它正试图将整个文件读入内存。按照upload\u from\u filename的链接显示它stats文件，然后将其作为上载大小作为单个上载部分传入。

相反，在创建对象时指定chunk\u size将触发它以多个部分进行上载：

# Must be a multiple of 256KB per docstring    
CHUNK_SIZE = 10485760  # 10MB
blob = bucket.blob(location['path'], chunk_size=CHUNK_SIZE)

快乐的黑客！