AWS SQS死信队列通知

Question

我正在尝试设计一个基于SQS、Lambda和SNS的小型消息处理系统。在失败的情况下，我希望将消息排入死信队列(DLQ)中，并调用webhook。

目前，如果一切顺利，流程应该是这样的：

1. SQS（用于处理重试）将消息排入队列
2. lambda由SQS调用并处理消息
3. lambda发送webhook，并正常完成

如果lambda中的某些东西出错（无法调用success webhook，无法处理手头的任务），实现我想要的最简单的方法似乎是设置一个DLQ1，SQS将失败的消息放入DLQ1中。然后将调用一个辅助lambda来处理该消息，将其传递给SNS，SNS将调用失败的webhook，并且还将该消息转发给DLQ2，即最终的/真的DLQ。

我知道的另一种选择是警报，尽管有人警告我它们相当棘手。另一种方法是，如果上次重试失败，让lambda调用错误报告webhook，尽管这似乎不合适。

谢谢！

Answer 1

在成功的情况下，您的体系结构看起来已经足够好了，但我个人认为，如果出现任何问题，这是相当令人困惑的，因为我不明白为什么您需要两个DLQ开始。

在失败的情况下，我会这样做：

1. 在源SQS队列上定义一个DLQ，并将maxReceiveCount设置为3，这意味着如果消息失败三次，它们将被重定向到配置的DLQ
2. 创建侦听此DLQ的Lambda
3. 在此lambda中执行webhook.
4. 由于步骤3在处理完消息后会自动从队列中删除消息，而且您显然希望将消息保留在某个位置，因此可以将消息内容存储在S3上的文件中，并将文件元数据（bucket和key）存储在DynamoDB的表中，这样您就可以始终查询失败的消息。

我在这里没有看到SNS的任何作用，除非你想要一个给定的消息有多个订阅者，但我看到的情况并非如此。

这样，您只需要维护一个DLQ，就可以摆脱SNS，因为它只会给您的体系结构增加一层额外的复杂性。