如何使用boto3将S3对象保存到文件

Question

我正在尝试为AWS的新boto3客户端做一个“hello world”。

我的用例相当简单：从S3获取对象并将其保存到文件中。

在boto 2.X中，我会这样做：

import boto
key = boto.connect_s3().get_bucket('foo').get_key('foo')
key.get_contents_to_filename('/tmp/foo')

在博托3。我找不到一种干净的方法来做同样的事情，所以我手动迭代“流”对象：

import boto3
key = boto3.resource('s3').Object('fooo', 'docker/my-image.tar.gz').get()
with open('/tmp/my-image.tar.gz', 'w') as f:
    chunk = key['Body'].read(1024*8)
    while chunk:
        f.write(chunk)
        chunk = key['Body'].read(1024*8)

或

import boto3
key = boto3.resource('s3').Object('fooo', 'docker/my-image.tar.gz').get()
with open('/tmp/my-image.tar.gz', 'w') as f:
    for chunk in iter(lambda: key['Body'].read(4096), b''):
        f.write(chunk)

而且效果很好。我想知道是否有任何“本机”boto3函数可以完成相同的任务？

Answer 1

对于那些想要模拟set_contents_from_string如boto2方法的人，您可以尝试

import boto3
from cStringIO import StringIO

s3c = boto3.client('s3')
contents = 'My string to save to S3 object'
target_bucket = 'hello-world.by.vor'
target_file = 'data/hello.txt'
fake_handle = StringIO(contents)

# notice if you do fake_handle.read() it reads like a file handle
s3c.put_object(Bucket=target_bucket, Key=target_file, Body=fake_handle.read())

对于Python3：

在python3中，StringIO和cStringIO都消失了。使用StringIO导入，如：

from io import StringIO

要支持这两个版本，请执行以下操作：

try:
   from StringIO import StringIO
except ImportError:
   from io import StringIO

Answer 2

boto3现在拥有比客户端更好的界面：

resource = boto3.resource('s3')
my_bucket = resource.Bucket('MyBucket')
my_bucket.download_file(key, local_filename)

这本身并不比公认答案中的客户端好多少（尽管文档说它在失败时重试上传和下载会做得更好），但是考虑到资源通常更符合人体工程学（例如，s3桶和对象资源比客户端方法更好）这确实允许您停留在资源层，而不必下拉。

资源通常可以以与客户端相同的方式创建，它们接受所有或大部分相同的参数，并将其转发给内部客户端。

Answer 3

最近Boto3中有一个定制，这有助于实现这一点（除其他外）。它当前在低级S3客户端上公开，可以这样使用：

s3_client = boto3.client('s3')
open('hello.txt').write('Hello, world!')

# Upload the file to S3
s3_client.upload_file('hello.txt', 'MyBucket', 'hello-remote.txt')

# Download the file from S3
s3_client.download_file('MyBucket', 'hello-remote.txt', 'hello2.txt')
print(open('hello2.txt').read())

这些功能将自动处理读取/写入文件，以及为大型文件并行进行多部分上传。

请注意，s3\u client.download\u file不会创建目录。它可以创建为pathlib.Path（'/Path/to/file.txt'）.parent.mkdir（parents=True，exist\u ok=True）。