使用python从s3 bucket内部文件夹下载最新文件，而不是从内部文件夹--folder下载

Question

我只想从s3 bucket inside文件夹下载最新文件。实际上，文件夹中有多个文件夹和文件。但我只需要下载最新日期的文件，并通过从多个文件夹中选择将其上载到一个文件夹中。我指的是stackoverflow源代码中的代码。

下面是s3桶的结构：

  S3-Bucket : --folder_1
                  --abc2022.01.29.csv
                  --bsv2022.02.18.csv
                  --test2022.03.04.csv
                  --Folder_12
                  --Folder_13
                  --folder_14

所以基本上，我想从文件夹（文件夹_1）内的s3 bucket下载最新文件，而不是从文件夹（文件夹_12、文件夹_13、文件夹_14）内下载最新文件。

我得到以下错误：

TypeError: 'NoneType' object is not subscriptable

以下是用于下载最新文件的代码片段：

  def get_most_recent_s3_object(bucket_name, prefix)

       s3 = session.client('s3')
       paginator = s3.get_paginator( "list_objects_v2" )
       page_iterator = paginator.paginate(Bucket=bucket_name, Prefix=prefix, Delimiter="/")
       latest = None
       for page in page_iterator:
           if "Contents" in page:
               latest2 = max(page['Contents'], key=lambda x: x['LastModified'])
               if latest is None or latest2['LastModified'] > latest['LastModified']:
                    latest = latest2
                    with open(latest, 'wb') as f:
                         s3.download_fileobj(bucket_name, latest, 'C:\\Users\xxxx\\)
      return latest
      

  latest = get_most_recent_s3_object(bucket_name='bucket_name_1', prefix='folder_1')
  print(latest['Key'])

但我无法下载到我的本地路径。代码是从文件夹中的文件夹中获取最新文件，而不是从文件夹中的s3 bucket（文件夹_1）获取最新文件。

Answer 1

我已经修改了下面的代码来下载文件夹内s3-桶中的最新文件，它工作正常。请找到下面的工作代码片段。

def get_most_recent_s3_object(bucket_name, prefix)

   s3 = session.client('s3')
   paginator = s3.get_paginator( "list_objects_v2" )
   page_iterator = paginator.paginate(Bucket=bucket_name, Prefix=prefix, Delimiter="/")
   latest = None
   for page in page_iterator:
       if "Contents" in page:
           latest2 = max(page['Contents'], key=lambda x: x['LastModified'])
           if latest is None or latest2['LastModified'] > latest['LastModified']:
                latest = latest2.get('Key')
                with open(C:\\Users\xxxx\\dummy.csv', 'wb') as f:
                     s3.download_fileobj(bucket_name, latest, f)
                print('Latest file downloaded successfully....!!!')
  
  

  latest = get_most_recent_s3_object(bucket_name='bucket_name_1', prefix='folder_1/')