使用boto3从s3获取多部分

Question

我将大的zip文件存储在s3存储桶中，因此我想使用python boto3库分块下载它们。

我首先尝试使用object.download_fileobj方法，但无法仅获取对象的一部分，因此我现在使用s3.get方法，该方法支持PartNumber=X参数。

然而，在我开始得到零件之前，我无法找到零件的数量。我的意思是，如果我在没有给出零件号的情况下调用get，我会得到以下响应：

s3.Object('mybucket', 'mytest.zip').get()

{'ETag'：'493458a23b7d2ed524e8f144aa9e91f4-27'，'LastModified'：datetime.datetime（2017,2,23,9,53,48，tzinfo=tzutc（），'ResponseMetadata'：{'RetryAttempts'：0，'RequestId'：'E67ABBE9682AE0CA'，'HTTPHeaders'：{'accept-ranges'：'bytes'，'x-amz-id-2'：'kymvd3rkqzfkjodnvbh1fog2zfzwjqaei kvfnzntq2csq7wmasmzxt17xg/WJJ29xBxyUQ='，'date'：'2017年2月23日星期四10:55:02 GMT'，'last modified'：'2017年2月23日星期四09:53:48 GMT'，'server'：'AmazonS3'，'content type'：'application/zip'，'x-amz-request-id'：'e67abbe96820ca'，'content'，'2492g''“493458a23b7d2ed524e8f144aa9e91f4-27”}，“主机ID”：“Kymvd3rkQZFkjOdnNvbh1f0OG2zFzwJQEai kvfnZSNtQ2cSQ7wmASMZxT17xg/WJJ29xBxyUQ=”，“HTTPStatusCode”：200}，“ContentLength”：222492172，'ContentType'：“application/zip”，“Body:”，“AcceptRanges:“bytes”，“Metadata:{}”

我们可以看到这里没有PartCount

如果我做同样的事情，但与Part Number=1：

 s3.Object('mybucket', 'mytest.zip').get(PartNumber=1)

{'ETag'：'"493458a23b7d2ed524e8f144aa9e91f4-27"，'LastModiated'：datetime.datetime（2017, 2, 23, 9, 53, 48，tzinfo=tzutc（）），'Part sCount'： 27，'ContentRange'：'bytes0-8388607/222492172'，'响应元数据'：{'RetryAttempt'： 0，'请求ID'：'2EE3109196C76834'，'HTTPHeaders'：{'接受范围'：'bytes'，'x-amz-id-2'：'Pl4ybedoDA99xCH2fa5zuge9Az7rPxZET EB2fAZ4BtTDo5dqw/fJZ8PNu3vM5/0mTUkj9/AqhY='，'x-amz-mp-parts-count'：'27'，'date'：'Thu，23 Feb2017 10:58:20GMT'，'etag'：'"493458a23b7d2ed524e8f144a9e91f4-27"'，'内容范围'：'字节0-8388607/222492172'，'内容类型'：'应用程序/zip'，'服务器'：'亚马逊3'，'x-amz-请求-id'：'2EE3109196C76834'，'内容长度'：'8388608'，'最后修改'：'周四，23 Feb2017 09:53:48GMT'}，'HostId'：'Pl4ybedoDA99xCH2fa5zuge9Az7rPxZET EB2fAZ4BtTDo5dqw/fJZ8PNu3vM5/0mTUkj9/AqhY='，'HTTPStatusCode'： 206}，'ContentLlong'： 8388608，'ContentType'：'Application/zip'，'Body'：，'AcceptRanges'：'bytes'，'Metadata'：{}}

我知道你可以看到块的数量

‘partscont’：27

在我开始下载文件之前，有没有办法获得块的数量？

Answer 1

您可以使用head\u object获取该数字。或者，由于您正在使用对象资源，object.parts\u count。