如果块被中断，如何在GCS中的可恢复上传下将大文件作为块请求发送？

Question

我正在做一个项目，在云存储和桶上创建一个抽象。然而，我遇到了一个问题，即如何最好地支持为GCS发送大文件。我们需要以块形式发送一个大文件的能力，并且我们希望能够控制以块形式发送的缓冲区/流。

S3有多部分上传，它允许我们并行发送文件块。不幸的是，GCS不支持这一点，它们有复合对象，允许我们并行发送文件。然而，复合对象也有其自身的局限性。例如，无法使用客户端加密、MD5摘要、保留策略、必须手动清理临时文件等等，这些都是有问题的，因为我们想要支持这些东西。

从文档来看，在GCS上发送大文件的推荐方式是通过可恢复的上载。我们的用例是以缓冲块的形式发送一个未知大小的大文件，前提是我们知道每个块的大小以及块是否是最后的部分。根据我的理解，最理想的情况是用content-range=[offset-(offset+chunkSize)]/*和变量chunkSize发送前N-1个块，并用content-range=[offset-(offset+remainingSize)]/[TOTAL_SIZE]发送最后一个块。

我的问题是，如果一个大块上传被中断了怎么办？

恢复中断的块上传意味着什么？我们是发送当前块的剩余字节(content-range=[lastbyte-(chunkSize-lastByte)]/*)还是与下一个块一起发送(content-range=[lastbyte-(chunkSize-lastByte)+chunksize]/*)？

此外，对于可恢复上传也有一个限制，其中每个块必须是256KB的倍数。这是否意味着一个中断会使块不可能保持同步？因此，与其期望块具有常规内容范围content-range=[offset-(offset+chunksize)]/*相反，可恢复上载中的中断是否会导致剩余块动态发送，直到最后一个块为止？

太感谢你了。

Answer 1

恢复中断的块上传意味着什么？我们是发送当前块的剩余字节(content-range=[lastbyte-(chunkSize-lastByte)]/)，还是将其与下一个块一起发送(content-range=[lastbyte-(chunkSize-lastByte)+chunksize]/)？

看情况.没有要求让所有的块大小都一样，也没有要求在上传开始时就对它们下定决心，也没有要求记住你发送了哪些块。正如您在下面注意到的，需要发送大小为256Kib倍数的所有块，但最后一个块除外。

要回答您的问题：如果(chunkSize-LastByte)是256kib的倍数，您可以将其作为新块发送，或者您可能需要将字节从lastbyte发送到lastbyte+N*256kib

此外，对于可恢复上传也有一个限制，其中每个块必须是256KB的倍数。这是否意味着一个中断会使块不可能保持同步？

不，这意味着当你继续上传时，块的边界可能需要改变。

在实践中，我认为GCS总是在256KIB的边界上承诺，但我不相信有任何保证它会一直这样做。