AWS-想要上传多个文件到S3，并且只有当所有文件都上传时才触发一个lambda函数

Question

我在寻求最好的设计方法-

用例

思想

我不认为这是个好主意。主要是因为Lambda函数应该是轻量级的，并且从Lambda函数内部轮询数据库以获得所有上传文件的S3键，然后在S3中签入这些键--每次这样做似乎都很麻烦，而且非常重复。

更好的方法是什么？我在考虑使用SWF之类的东西，但不确定这是否对我的解决方案来说是过激的，或者它是否会让我做我想做的事情。文档也没有显示真正的“示例”。这只是一个讨论，没有太多的一步一步的指导（也许我找错地方了）。

使用S3的选项3触发了我在这里担心的是竞争条件的可能性。例如，如果客户机同时上传了多个文件（想想几个异步上传，文件大小不同），如果两个文件恰好在同一时间完成上传，并且两个或更多的Lambda函数（或我们使用的任何实现）查询Dynamo并返回N作为完成的上传（而不是N和N+1)怎么办？现在，即使最后的结果应该是n+2，每一个都会在n上加1。不，不，不！

所以选择1获胜。

Answer 1

如果您不希望客户机程序负责直接调用Lambda函数，那么它是否可以做一些更通用的事情？

选项1:(SNS)如果它只是通知一个SNS主题它已经完成了一批S3上传怎么办？您可以订阅您的Lambda函数到该SNS主题。

选项2：（DynamoDB Streams）如果它只是用属性record.allFilesUploaded=true来更新DynamoDB记录会怎么样。您可以让Lambda函数触发DynamoDB流。由于您已经通过客户机创建了DynamoDB记录，所以这似乎是一种非常简单的方法，可以将这批上传标记为完成，而不必在了解接下来需要发生什么的情况下编写代码。然后，Lambda函数可以检查“AllFilesUploaded”属性，而不必每次调用时都去S3查找文件列表。

此外，我同意你的观点，即主权财富基金对这项任务来说是矫枉过正。