如何将下载的文件从S3桶复制/移动到同一桶下的不同文件夹，而不下载加载最新文件

Question

我正在使用python 2.7. x和Boto API 2. X连接到AWS S3桶。我有一个独特的情况，我想从S3桶下载文件，从一个特定的目录/文件夹说myBucket/foo/。但问题是我想在S3文件夹中留下一个最新的文件，而不是下载它。一旦，我在我的本地框中下载这些文件，我想将这些文件移动到同一个桶下的不同文件夹说myBucket/foo/bar/。以前有人处理过类似的情况吗？

以下是一些解释：

1. 将下载的文件从S3存储桶移动到同一存储桶下的不同文件夹路径

My S3 bucket:事件记录S3 bucket上下载文件的文件夹路径：

event-logs/apps/raw/source_data/

S3存储桶上的文件夹路径，下载的文件将在其中移动（存档）：

event-logs/apps/raw/archive_data/ 

注意：“事件日志/apps/raw/”路径在同一个bucket下是常见的

所以如果我有5个文件在S3source_data文件夹下：

s3://event-logs/apps/raw/source_data/data1.gz
event-logs/apps/raw/source_data/data2.gz
event-logs/apps/raw/source_data/data3.gz
event-logs/apps/raw/source_data/data4.gz
event-logs/apps/raw/source_data/data5.gz

我需要将前4个文件（最旧的文件）下载到我的本地计算机，并保留最新的文件，即data5。gz在后面。下载完成后，将这些文件从S3中移出/源数据文件夹到/将_数据文件夹归档到同一个S3存储桶下，并从原始源_数据文件夹中删除。下面是我列出S3中的文件，然后下载文件，然后删除文件的代码。

AwsLogShip = AwsLogShip(aws_access_key, aws_secret_access_key, use_ssl=True)
bucket = AwsLogShip.getFileNamesInBucket(aws_bucket)
def getFileNamesInBucket(self, aws_bucket):
    if not self._bucketExists(aws_bucket):
        self._printBucketNotFoundMessage(aws_bucket)
        return list()
    else:
        bucket = self._aws_connection.get_bucket(aws_bucket)
        return map(lambda aws_file_key: aws_file_key.name, bucket.list("apps/raw/source_data/"))

AwsLogShip.downloadAllFilesFromBucket(aws_bucket, local_download_directory)
def downloadFileFromBucket(self, aws_bucket, filename, local_download_directory):
    if not self._bucketExists(aws_bucket):
        self._printBucketNotFoundMessage(aws_bucket)
    else:
        bucket = self._aws_connection.get_bucket(aws_bucket)
        for s3_file in bucket.list("apps/raw/source_data"):
            if filename == s3_file.name:
                self._downloadFile(s3_file, local_download_directory)
                Break;

AwsLogShip.deleteAllFilesFromBucket(aws_bucket)
def deleteFilesInBucketWith(self, aws_bucket, filename):
    if not self._bucketExists(aws_bucket):
        self._printBucketNotFoundMessage(aws_bucket)
    else:
        bucket = self._aws_connection.get_bucket(aws_bucket)
        for s3_file in filter(lambda fkey: filename(fkey.name), bucket.list("apps/raw/source_data/")):
            self._deleteFile(bucket, s3_file)

我真正想要实现的是：

1. 选择要下载的最旧文件列表，这意味着总是留下最新修改的文件，并且不对其执行任何操作（因为文件可能还没有准备好下载，或者还在编写中）。
2. 需要将下载的文件列表移动到同一个桶下的新位置，并从原始source_data文件夹中删除这些文件。

Answer 1

这就是我解决这个问题的方法！

     bucket_list = bucket.list(prefix='Download/test_queue1/', delimiter='/')
     list1 = sorted(bucket_list, key= lambda item1: item1.last_modified)
     self.list2 = list1[:-1]
     for item in self.list2:
         self._bucketList(bucket, item)

    def _bucketList(self,bucket, item):
    print item.name, item.last_modified