获取文件夹中的最新文件并上载到s3？

Question

filename变量用于获取最新文件的名称。我的目标是监视文件夹，每当检索到新文件时，使用boto3自动将其上载到s3 bucket。

import time
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler
from subprocess 
import call
import os
import boto3

会话=BOT3。会话（aws\u access\u key\u id='aws\u access\u key\u id'，aws\u secret\u access\u key='aws\u secret\u access\u key'，region\u name='region\u name'）

s3=会话。客户端（“s3”）

class Watcher:
    def __init__(self):
        self.dir = os.path.abspath('D:\\project')
        self.observer = Observer()

    def run(self):
        event_handler = Handler()
        self.observer.schedule(event_handler, self.dir, recursive=True)
        self.observer.start()
        try:
            while True:
                time.sleep(5)
        except:
            self.observer.stop()
            print("Error")

        self.observer.join()   

    class Handler(FileSystemEventHandler):
        @staticmethod
        def on_any_event(event):
            if event.is_directory:
                return None

        elif event.event_type == 'created':
        print("Received created event - %s." % event.src_path)
        s3.upload_file(Filename=event.src_path, bucket='bucketname, key=test-file-1)

if __name__ == '__main__':
    w = Watcher()
    w.run()

FileNotFoundError：[WinError 2]系统找不到指定的文件

Answer 1

不确定您这样做是否是为了学习python（boto3）。如果是，恭喜。如果不是，AWS已经提供了这样的功能。所以你把所有的东西都保留在代码中，但要向AWS CLI付费。

Answer 2

正如@alexhall在评论中提到的，s3。元。客户upload\u file方法将上载文件。您可以在此处阅读boto3 s3客户端的上载方法文档：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html#S3.Client.upload_file.然而，这是一个有点愚蠢的例子，因为他们首先创建一个s3资源而不是s3客户端，然后因为s3资源实际上没有上载文件的方法，所以他们返回到s3客户端。您也可以直接创建并使用s3客户端进行上传。

您还依赖于这样一个事实，即当您像以前那样创建s3资源时，boto3使用默认会话：

boto3.resource（'s3'）

如果您在lambda上运行代码，或者如果您在ec2实例中配置了IAM角色以访问s3，那么这将很好，但我认为您是在AWS之外运行此代码，在这种情况下，您可以使用boto3。首先使用凭据创建会话（），然后客户端（或资源）可以使用该会话。

aws_access_key_id = '<AWS_ACCESS_KEY_ID>'
aws_secret_access_key = '<AWS_SECRET_ACCESS_KEY>'
region_name = 'us-east-1'

session = boto3.Session(aws_access_key_id=aws_access_key_id,
                                aws_secret_access_key=aws_secret_access_key,
                                region_name=region_name)

s3 = session.client('s3')

您可以在此处阅读有关会话配置的信息：https://boto3.amazonaws.com/v1/documentation/api/latest/guide/configuration.html

而不是命令= 行，您只需使用：

s3.upload_file(Filename, Bucket = 'aaaaa', Key='test-file-1')

您可以删除最后一行。如果您运行的是OS/System命令而不是python中的某个东西，您会“调用”。