使用AWS CLI获取最新的AWS S3文件夹对象名称

Question

我试着用这篇文章来查找上次修改的文件，然后用AWS CLI从S3获取上次修改的对象

但这对于1000多个文件夹来说并不理想，而且根据文档，这应该是失败的。我需要搜索2000个文件夹对象。我想要的文件夹总是以D开头，后面跟着一组递增的数字。例：D1200

答案的结果让我创建了这个调用，它很有效：

aws s3 ls main.test.staging/General_Testing/Results/ --recursive | sort | tail -n 1 | awk '{print $4}'

但搜索数千个文件需要40秒，然后我需要正则表达式解析输出，以找到文件夹对象，而不是其中修改的最后一个文件。此外，如果我试图这样做以找到所需的文件夹（即结果对象之后的对象）：

aws ls s3 main.test.staging/General_Testing/Results/ | sort | tail -1

然后，我的输出将是D998，因为排序功能将对文件夹名称进行如下排序：

D119
D12
D13

因为从技术上讲，D12大于D119，因为它在第二位有一个2。按照这种奇怪的逻辑，我无法使用该调用来可靠地检索编号最高的文件夹，从而检索最后创建的文件夹。需要注意的是，包含文件的文件夹对象没有可用于查询的Last Modified标记。

为了明确我的问题：我可以使用什么调用来查看大量的S3对象，以找到最大的编号文件夹对象？最好答案是快速的，可以处理1000个对象，并且不需要正则表达式分解。

Answer 1

我想知道你是否可以使用一个通用前缀列表来克服你的程序有很多文件夹？

试试这个命令：

aws s3api list-objects-v2 --bucket main.test.staging --delimiter '/' --prefix 'General_Testing/Results/' --query CommonPrefixes --output text

（注意，is使用的是s3api，而不是s3）

它应该提供一个“文件夹”列表。我不知道它是否对返回的“文件夹”数量有限制。

至于排序D119在D2之前，这是因为它是对字符串排序。排序字符串时，输出完全正确。

若要按数字部分排序，您可能会使用“版本排序”。请参阅：如何从Bash中对包含公共前缀和后缀的字符串进行数字排序？