AWS S3API将文件从一个文件夹移动到同一桶内的另一个文件夹

Question

aws s3api copy-object-copy-source bucket-1-key*.txt-bucket bucket-1/folder/

我在bucket的根目录中有许多txt文件，我想将它们移动到同一个bucket中的一个文件夹中。

太感谢了。

Answer 1

您可以使用高级S3API:

AWS s3 mv s3://bucket/object.txt s3://bucket/folder/object.txt

但是，您需要指定完整的对象名称-通配符不起作用。

   #!/bin/bash
   IFS=$'\n'
   while read LINE; do
     OBJECT=`echo $LINE | cut -d ' ' -f 5`
     aws s3 mv s3://bucket/$OBJECT s3://bucket/folder/
   done < objects.txt

然后你会这样运行：

   chmod +x script.sh // remember to make the script executable
   aws s3 ls s3://bucket/ > objects.txt
   ./script.sh

请注意，如果您有数百个文本文件，这可能会导致S3桶的节流。如果您有这么多文件，我建议您在上面的while循环中添加一个小延迟，以确保每秒发送的请求少于100个。

20ms的延迟意味着每秒向S3发送50个请求。在这种情况下，完全执行可能需要几秒钟，但考虑到这是一次性操作，这应该是可以接受的。