使用Boto3（Python）将高级多部分上传到AWS Glacier？

Question

我需要上传一个更大的文件到 AWS 冰川的评估。由于大小，我无法在一个请求中执行此操作，因此我需要将其拆分为较小的部分并使用分段上传。

Boto3是否包含一个方法，该方法获取一个大文件，拆分并逐个上传它的部分？正如我所见Javahtml" target="_blank">客户端有这样的方法（取自AWS文档）：

高级API提供了一种方法，您可以使用该方法上传任何大小的存档。根据您要上传的文件，该方法可以在单个操作中上传存档，也可以使用Amazon Glacier中的多部分上传支持来分部分上传存档。

我尝试使用：

boto3.client(...).upload_archive(...)

但它没有拆分文件，我得到一个错误。

有没有其他方法可以在不实现所有这些低级内容（拆分文件、发送多个请求、完成上传……）的情况下做到这一点？

Answer 1

你要找的东西在这里：https://github.com/tbumi/glacier-upload/blob/develop/main.py

response = glacier.complete_multipart_upload(
    vaultName=vault_name, uploadId=upload_id,
    archiveSize=str(file_size), checksum=total_tree_hash)

以上就是你要找的工作。

Answer 2

也许这就是你要找的东西？https://boto 3 . readthedocs . io/en/latest/reference/services/Glacier . html # Glacier。Client.upload_multipart_part

我会从文档中添加一些相关信息。

upload_multipart_part（**k war gs）

此操作将上载存档的一部分。您可以按任意顺序上传存档部分。您也可以并行上传它们。对于分段上传，您最多可以上传 10，000 个分段。

如果满足以下任一条件，Amazon Glacier将拒绝您的上传零件请求:

• SHA256 树形哈希不匹配 为确保部件数据在传输过程中未损坏，请计算部件的 SHA256 树形哈希并将其包含在请求中。收到零件数据后，亚马逊冰川还会计算 SHA256 树形哈希。如果这些哈希值不匹配，则操作将失败。
• 段大小不匹配 除最后一个部件外，每个部件的大小必须与相应的“启动多个部件上传”请求中指定的大小匹配。最后一个部件的大小必须与指定大小相同或小于指定大小。
• 范围不对齐 请求中的字节范围值与相应启动请求中指定的段大小不对齐。例如，如果将段大小指定为 4194304 字节 （4 MB），则 0 到 4194303 字节 （4 MB - 1） 和 4194304 （4 MB） 到 8388607 （8 MB - 1） 是有效的部件范围。但是，如果您将范围值设置为 2 MB 到 6 MB，则该范围与分段大小不一致，上传将失败。

这是请求合成

response = client.upload_multipart_part(
vaultName='string',
uploadId='string',
range='string',
body=b'bytes'|file

）

参数说明

accountId(字符串)

AcCountId值是拥有保管库的帐户的AWS帐户ID。您可以指定AWS帐户ID，也可以指定单个 '- ' (连字符），在这种情况下，Amazon Glacier使用与用于签署请求的凭据关联的AWS帐户ID。如果使用帐户ID，则不要在ID中包含任何连字符 ('-') 。

vaultName（字符串）[必需]

保管库的名称。

uploadId（字符串）[必需]

多部分上载的上载ID。

校验和（字符串）

正在上传的数据的SHA256树哈希。

范围(字符串)

标识将在此部分中上载的汇编档案中的字节范围。Amazon Glacier使用这些信息按照正确的顺序组装档案。该报头的格式遵循RFC 2616。一个示例报头是内容范围:字节0-4194303/*。

body（字节或可查找的类似文件的对象）

要上传的数据。