Amazon S3多部分上传异步

Question

我正在使用 Amazon S3 分段上传，我读到您可以并行上传部分文件。但是，通过查看文档，我发现亚马逊对上传的文件部件的响应不包含部件号。所以我的问题是，如果我异步上传文件的第1部分和文件的第2部分，那么我检查来自亚马逊的响应，我如何知道响应是引用文件的第1部分还是第2部分？

下面是一个请求和响应的示例。

Request:
PUT /my-movie.m2ts?partNumber=1&uploadId=VCVsb2FkIElEIGZvciBlbZZpbmcncyBteS1tb3ZpZS5tMnRzIHVwbG9hZR HTTP/1.1
Host: example-bucket.s3.amazonaws.com
Date:  Mon, 1 Nov 2010 20:34:56 GMT
Content-Length: 10485760
Content-MD5: pUNXr/BjKK5G2UKvaRRrOA==
Authorization: AWS AKIAIOSFODNN7EXAMPLE:VGhpcyBtZXNzYWdlIHNpZ25lZGGieSRlbHZpbmc=

***part data omitted***

Response:
HTTP/1.1 200 OK
x-amz-id-2: Vvag1LuByRx9e6j5Onimru9pO4ZVKnJ2Qz7/C1NPcfTWAtRPfTaOFg==
x-amz-request-id: 656c76696e6727732072657175657374
Date:  Mon, 1 Nov 2010 20:34:56 GMT
ETag: "b54357faf0632cce46e942fa68356b38"
Content-Length: 0
Connection: keep-alive
Server: AmazonS3

Answer 1

当您启动多部分上载时，您会在请求中包含部件号。来自AWS多部分上传文档：

PUT /ObjectName?partNumber=PartNumber&uploadId=UploadId HTTP/1.1
Host: BucketName.s3.amazonaws.com
Date: date
Content-Length: Size
Authorization: Signature

因此，对于您刚刚上传的哪个部分没有歧义。

编辑所以基本流程如下：

> < li>

启动多部分上传并获取UploadId

并行上传所有部件。在每个响应中，您将获得一个ETag标头-您需要记住它和它随附的部件号，以便AWS可以重新组装文件

Answer 2

您在对每个部分的响应中返回的 Etag 是您刚刚上传的部分的 md5sum。

就您的示例而言，除非我犯了错误，否则您的 Content-MD5 将解码为 a54357aff06328ae46d942af69146b38...所以我建议，除非你对MD5计算有问题，否则你发布的请求和响应实际上并不属于一起。

我编写的multipart uploader非常迂腐，因为我用它来归档关键数据（因此，实际上，在认为multipPart upload成功并绝对确定最终产品是完美的后，它实际上会翻转并重新下载文件）……但这个实用程序按顺序提交部件，调用会阻塞，直到响应才会返回返回……其健全性测试之一是将本地计算的块的MD5与返回的Etag进行比较，如果它们不匹配，则是一个致命错误……因此，除非您有相同的块，否则似乎可以通过这种方式关联各个部分。

附加：

我没有用失踪的尸体来计算md5：）我拿走了你的头：

Content-MD5: pUNXr/BjKK5G2UKvaRRrOA==

从base64 -转换而来

我通过将2个命令行实用程序串在一起进行验证下载，如下所示：

wget --server-response '$signed_url' -O - | md5sum

这会下载文件并将字节通过管道连接到 md5sum 中以计算校验和，因此我可以在不使用任何磁盘空间和非常少内存的情况下下载无限大的文件。wget 实用程序具有内置的重试功能，如果连接中断，将尝试从它离开的字节位置继续。此管道的输出是文件的 md5sum（标准输出）和服务器和进度表 （stderr） 发送的标头。我的实用程序捕获 stdout 并进行比较，同时让 stderr 泄漏到控制台进行观察。