如何检查我上传的文件是否为“多部分”？

Question

来自文档：“当您使用传输管理器下载文件时，实用程序会自动确定对象是否为多部分”

来源:https://AWS . Amazon . com/fr/blogs/developer/parallelizing-large-downloads-for-optimal-speed/

这意味着某处有指标（元数据？属性？）可以告诉你一个文件是否是多部分的。所以在用java SDK测试之前，我正在用AWS CLI测试AWS Rest API，我专注于多部分上传/下载（根据文档，只有当上传是多部分时，下载才是多部分的）。

首先，我将阈值明确设置为5MB:

$ aws configure set default.s3.multipart_threshold 5MB

我上传一个20 MB的文件：

$ aws s3 cp ./my-file s3://my-bucket/test/multipart-upload-1

它需要45秒，当我在上传过程中检查时：

$ aws s3api list-multipart-uploads --bucket my-bucket

我可以看到我的上传是列表的一部分，但我只看到一个下载，没有关于“部件”或连接数量的信息。

如果我将阈值设置为50MB（远远超过文件大小），上传速度会快得多（超过10秒），并且在上传过程中，我无法使用以下命令查看上传：

$ aws s3api list-multipart-uploads --bucket my-bucket

因此，它倾向于显示第一次上传被识别为“分段”上传，但我没有关于分段数量的信息，并且在上传后我无法区分分段上传的文件和简单的上传文件。

Answer 1

要了解对象是否是多部分，可以检查 ETag。

对于非多部分对象，Etag 看起来像 0a3dbf3a768081d785c20b498b4abd24

对于多部分的，Etag看起来像ceb8853ddc5086cc4ab9e149f8f09c88-2

您可以使用-字符区分它们。

使用AWS CLI，您可以使用以下命令恢复对象的Etag:

aws s3api head-object --bucket <bucket> --key <object_key> | grep ET
ag

使用boto3，您可以像这样恢复Etag:

from boto3 import client
s3 = client('s3')
print(s3.head_object(Bucket=<bucket>, Key=<object_key>)['ETag'])

Answer 2

通过查看ETAG，您可以很容易地判断对象是否是多部分的。如果ETAG超过32个字符，并且在末尾包含-#，那么您就知道它是一个多部分请求。ETag末尾的#表示对象中的部件数。

我不确定这是否在任何地方都有具体的记录，但是它已经使用此方法在其他堆栈溢出问题中成功分解：

对于大于5GB的文件，计算Amazon-S3 Etag的算法是什么？