订阅SNS主题的AWS Lambda不会处理该主题的所有消息

Question

我正在构建一个由亚马逊服务提供支持的警报系统。

我每天将一个文件放到S3上，它生成一个lambda函数（我们称之为生成器函数）来处理该文件。

Generator基于此文件构建警报并将多条消息发布到SNS主题（让我们称之为发件箱）-由Generator计算的每个收件人一条消息。

我在发件箱中订阅了第二个lambda函数（我们称之为Courier），它应该接收每条消息并对其进行处理。

发电机代码：

// 'Generator' function

exports.handler = function (event, context) {
  console.log('Reading options from event:\n', util.inspect(event, {depth: 5}));

  var users = {};
  var userSubscriptions = {};
  var alerts = {};
  var artists = {};
  var tracks = {};

  async.waterfall([
    function downloadSubscribersFile (next) {
      // Do stuff
    },
    function downloadAndFormatActionsFile (next) {
      // Download data file and analyse
    },
    function publishAlerts (next) {
      // Now we have alerts built, we need to mail them out
      var recipients = Object.keys(alerts);

      async.each(recipients, function (recipient, callback) {
        var recipientAlert = alerts[recipient];
        console.log(util.inspect(recipientAlert, { depth: 10 }));

        if (alerts[recipient].actions.artists.length < 1) {
          return callback();
        }

        var params = {
          TopicArn: SNS_TOPIC_ARN,
          Subject: recipient,
          Message: JSON.stringify(recipientAlert)
        };

        sns.publish(params, function (err, data) {
          if (err) {
            console.log(err);
            return callback(err);
          } else {
            console.log('PUBLISHED MESSAGE: \n', util.inspect(data, { depth: 10 }));
            console.log('MESSAGE WAS: \n', util.inspect(params, { depth: 10 }));
          }

          return callback();
        })
      }, function (err) {
        if (err) return next(err);
        next(); 
      })
    }
  ], function (err) {
    if (err) {
      console.log('Error: ', err);
    } else {
      console.log('Process successful');
    }
    context.done();
  })

}

以及其他功能：

// 'Courier' function

console.log('Loading function');

exports.handler = function(event, context) {
    console.log(JSON.stringify(event, null, 2));
    console.log('From SNS:', event.Records[0].Sns.Message);
    context.succeed();
};

当我的Generator函数被调用时，我可以看到12条消息应该发布到SNS主题。发布这些消息时没有记录错误，但Courier函数只触发一次。

我想知道是否有人对此有任何类似的问题，以及我在这里是否遗漏了什么。可能是我在AWS中没有正确配置某些内容，但我非常有信心一切都按应有的方式设置。

更新：

在查看了我试图发送的消息后，SNS接收到的消息似乎是负载最小的消息。我想知道SNS是否能够处理大量针对某个主题的小而频繁的消息。。。？

Answer 1

是的，SNS可以处理单个主题的高吞吐量。但是，邮件的最大大小为256KB，因此，如果您的邮件大于256KB，则可能是原因。

我看到您的Generator函数正在记录消息，您是否看到12条带有消息ID的记录消息？我看到您有一个变量警报，您希望从中获取多个收件人，但我不知道您在哪里设置它。

我的建议是：在发送消息之前添加更多日志记录，以验证您认为应该发生的事情是否确实发生了。