如何在lambda函数中处理来自Amazon S3 bucket的多个CSV文件？

Question

在Amazon S3 bucket中，事件日志以CSV文件的形式每小时发送一次。我想执行一些简短的描述性分析1周价值的数据，每周（例如168个文件每周）。分析的重点是输出每周的趋势产品列表。我在本地机器上编写了一个python脚本，它使用boto3从S3检索最新的168个文件，并进行所有必要的争论等。

以下是从本地计算机获取168个文件的代码：

# import modules
import boto3
import pandas as pd
from io import StringIO

# set up aws credentials
s3 = boto3.resource('s3')
client = boto3.client('s3', aws_access_key_id='XXXXXXXXXXXXXXXXXXXX',
                      aws_secret_access_key='XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX')

# name s3 bucket
my_bucket = s3.Bucket('bucket_with_data')

# get names of last weeks files from s3 bucket
files = []

for file in my_bucket.objects.all():
    files.append(file.key)

files = files[-168:]  # all files from last 7 days (24 files * 7 days per week)

bucket_name = 'bucket_with_data'

data = []

col_list = ["user_id", "event_type", "event_time", "session_id", "event_properties.product_id"]

for obj in files:
    csv_obj = client.get_object(Bucket=bucket_name, Key=obj)
    body = csv_obj['Body']
    csv_string = body.read().decode('utf-8')
    temp = pd.read_csv(StringIO(csv_string))
    final_list = list(set(col_list) & set(temp.columns))
    temp = temp[final_list]
    data.append(temp)

# combining all dataframes into one
event_data = pd.concat(data, ignore_index=True)

所以，我的问题是，我是否可以将这段代码放入一个lambda函数中，然后它就可以工作了，还是需要合并一个lambda_handler函数？如果我需要使用lambda_handler函数，我将如何处理多个文件？因为lambda是由一个时间表触发的，而不是一个正在发生的事件。

Answer 1

是的，您需要一个Lambda函数处理程序，否则它就不是Lambda函数。

Lambda运行时在代码中寻找一个特定的入口点，它将使用一组特定的参数(event、context)调用该入口点。

如果您选择忽略事件和上下文，只需使用boto3 SDK在给定的S3 bucket中列出对象（假设您的Lambda通过IAM角色有权这样做），然后对这些对象执行您需要的任何操作。

注意Lambda函数的超时，如果要处理大量文件，请根据需要增加超时。增加RAM大小也是一个潜在的好主意，因为它将相应地为您提供更多的CPU和网络带宽。

如果要处理大量文件，那么考虑使用S3批处理。