使用AWS CLI下载S3存储桶中的最新文件？[重复]

Question

我有一个包含数据库备份的S3存储桶。我正在创建一个脚本来下载最新的备份（并最终将其还原到其他地方），但我不确定如何只从存储桶中获取最新的文件。

是否可以使用AWS CLI工具仅将最近的文件从S3存储桶复制到本地目录？

Answer 1

上面的解决方案使用的是Bash。如果想要在PowerShell中执行同样的操作，以便在Windows上下载，请使用以下脚本：

# This assumes AWS CLI exe is in your path.
$s3location = "s3://bucket-name"
$files = $(aws s3 ls $s3location --recursive | sort | select -last 3)
$dlPath = "C:\TEMP"

foreach ($s3FileInfo in $files) {
    $filename = $s3FileInfo.Split()[-1]
    $path = "${s3location}/${filename}"
    aws s3 cp $path $dlPath
    echo("Done downloading ${path} to ${dlPath}")
}

Answer 2

FILE=`aws s3api list-objects-v2 --bucket "$BUCKET_NAME" --query 'reverse(sort_by(Contents[?contains(Key, \`$FILE_NAME_FILTER\`)], &LastModified))[:1].Key' --output=text`;aws s3 cp "s3://$BUCKET_NAME/$FILE" .

$BUCKET_NAME-是您要从中下载的BUCKET。

$FILE_NAME_FILTER-用作要匹配的名称的筛选器的字符串。

aws s3 cp“”-它在双引号中，因为它还包括名称中带有空格的文件。

Answer 3

下面是基于@error2007s的答案创建的bash脚本。此脚本需要您的aws配置文件和bucket name作为变量，并将最新的对象下载到~/downloads文件夹：

#!/bin/sh
PROFILE=your_profile
BUCKET=your_bucket

OBJECT="$(aws s3 ls --profile $PROFILE $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}')"
aws s3 cp s3://$BUCKET/$OBJECT ~/Downloads/$OBJECT --profile $PROFILE