如何防止AWS Lambda从SQS队列中自动删除消息，而是以编程方式删除它？

Question

当一个文件被添加到我的S3存储桶中时，会触发一个S3PUT事件，将一条消息放入SQS。我已经配置了一个Lambda，一旦有消息可用，它就会被触发。

在lambda函数中，我发送了一个API请求，以在ECS Fargate容器上运行一个任务，其中包含从SQS接收的消息的环境变量。在容器中，我使用消息从S3下载文件，进行处理，如果处理成功，我希望从SQS中删除消息。

然而，在我的lambda执行后，消息会自动从SQS中删除。有什么方法可以配置lambda不自动删除SQS消息（除了引发异常并故意使lambda失败），以便我可以通过编程从我的容器中删除消息？

更新：考虑这个场景，我希望实现。

1. 消息进入SQS队列

只有当我故意在lambda上提出异常，并且我正在寻找一个类似的解决方案而不这样做时，这一切目前才有效。

Answer 1

只要SQS被配置为Lambda触发器，一旦函数返回（即完成执行），消息就会自动删除。

在我看来，要实现你所描述的行为，你有四个选择：

• 删除SQS作为Lambda触发器，而是在一个时间表上执行Lambda函数，并亲自轮询队列。lambda将读取可用的消息，但除非您明确删除它们，否则在可见性超时过期后，它们将再次可用。您可以通过CloudWatch时间表来实现这一点
• 删除SQS作为Lambda触发器，而是显式执行Lambda函数。与上述类似，但Lambda函数不是一直按计划执行，而是可以由消息本身的生产者触发
• 保留SQS Lambda触发器，并将消息存储在另一个SQS队列中（正如@jarmod在上面的评论中所建议的）
• 将消息的生产者配置为向SNS主题发布消息，并向该主题订阅2个SQS队列。两个队列中的一个将触发Lambda函数，另一个将由您的ECS任务使用

使现代化

根据提供的新信息，您还有另一个选择：

保持事件流不变，让Lambda删除SQS中的消息。然后，在您的ECS任务中，处理失败状态，并在SQS中放入具有相同有效负载/主体的新消息。这将允许您无限期重试。

没有理由说SQS消息必须完全相同，您感兴趣的是主体/负载。

您可能需要考虑添加一种机制来设置这些重试的限制，并将消息发送到DLQ。