将文件从s3复制到本地？

Question

我的s3存储桶中有很多文件，所以是否有任何aws cli命令可用于在s3中查找带有前缀名的最新文件？如何将该文件从s3复制到本地文件夹？我可以使用Boto3或python库来实现这一点吗？

Answer 1

您可以参考此答案了解最新的文件。从S3 CLI获取上次修改的对象。对于要在对象列表中显示的前缀，可以使用

aws s3 ls $BUCKET --recursive | sort | grep <prefix>

谢谢

阿施施

Answer 2

此命令将列出给定前缀的“最新”对象：

aws s3api list-objects --bucket MY-BUCKET --prefix foo/ --query 'sort_by(Contents, &LastModified)[-1].Key' --output text

您可以将其与“复制”命令结合使用：

key=$(aws s3api list-objects --bucket MY-BUCKET --prefix foo/ --query 'sort_by(Contents, &LastModified)[-1].Key' --output text)
aws s3 cp s3://MY-BUCKET/$key .

--query参数非常强大。请参阅：JMESPath教程

Answer 3

下面是用Python实现的演示：

import boto3

s3_client = boto3.client('s3')

response = s3_client.list_objects_v2(Bucket='MY-BUCKET', Prefix='foo/')
objects = sorted(response['Contents'], key=lambda obj: obj['LastModified'])

## Latest object
latest_object = objects[-1]['Key']
filename = latest_object[latest_object.rfind('/')+1:] # Remove path

# Download it to current directory
s3_client.download_file('MY-BUCKET', latest_object, filename)

基本上，你会取回所有的对象，然后按LastModified对它们进行排序。

请注意，list_objects_v2（）命令最多只返回1000个对象。如果桶中有更多，则需要循环或使用分页器。参见：分页器-Boto3文档