如何使用lambda函数从AWS3获取文本文件的内容？

Question

我想知道是否可以为AWS设置一个lambda函数，每当一个新的文本文件上传到s3 bucket时就会触发这个函数。在函数中，我想获取文本文件的内容，并以某种方式对其进行处理。我在想这有没有可能...？

例如，如果我上传了foo.txt，内容为foobarbaz，我希望在lambda函数中使用foobarbaz，这样我就可以用它来做一些事情。我知道我可以从getObject获取元数据，或者类似的方法。

谢谢！

Answer 1

您可以使用data.body.toString('ascii')获取文本文件的内容，假设文本文件是使用ascii格式编码的。还可以将其他编码类型传递给函数。请查看Node-Buffer以了解更多详细信息。

Answer 2

S3对象键和bucket名称通过event参数传递到Lambda函数中。然后可以从S3获取对象并读取其内容。

从Lambda事件检索bucket和对象键的基本代码如下：

exports.handler = function(event, context, callback) {
   var src_bkt = event.Records[0].s3.bucket.name;
   var src_key = event.Records[0].s3.object.key;
};

有了bucket和key之后，就可以调用getObject来检索对象：

var AWS = require('aws-sdk');
var s3 = new AWS.S3();

exports.handler = function(event, context, callback) {

    // Retrieve the bucket & key for the uploaded S3 object that
    // caused this Lambda function to be triggered
    var src_bkt = event.Records[0].s3.bucket.name;
    var src_key = event.Records[0].s3.object.key;

    // Retrieve the object
    s3.getObject({
        Bucket: src_bkt,
        Key: src_key
    }, function(err, data) {
        if (err) {
            console.log(err, err.stack);
            callback(err);
        } else {
            console.log("Raw text:\n" + data.Body.toString('ascii'));
            callback(null, null);
        }
    });
};

下面是一个更新的JavaScript示例，使用ES6风格的代码和承诺，减去错误处理：

const AWS = require('aws-sdk');
const s3 = new AWS.S3();

exports.handler = async (event, context) => {
  const Bucket = event.Records[0].s3.bucket.name;
  const Key = event.Records[0].s3.object.key;
  const data = await s3.getObject({ Bucket, Key }).promise();
  console.log("Raw text:\n" + data.Body.toString('ascii'));
};

很多海报都要求在Java提供类似的服务，下面是一个例子：

package example;

import java.net.URLDecoder;

import com.amazonaws.services.lambda.runtime.Context;
import com.amazonaws.services.lambda.runtime.RequestHandler;
import com.amazonaws.services.lambda.runtime.events.S3Event;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3Client;
import com.amazonaws.services.s3.event.S3EventNotification.S3EventNotificationRecord;

public class S3GetTextBody implements RequestHandler<S3Event, String> {

    public String handleRequest(S3Event s3event, Context context) {
        try {
            S3EventNotificationRecord record = s3event.getRecords().get(0);

            // Retrieve the bucket & key for the uploaded S3 object that
            // caused this Lambda function to be triggered
            String bkt = record.getS3().getBucket().getName();
            String key = record.getS3().getObject().getKey().replace('+', ' ');
            key = URLDecoder.decode(key, "UTF-8");

            // Read the source file as text
            AmazonS3 s3Client = new AmazonS3Client();
            String body = s3Client.getObjectAsString(bkt, key);
            System.out.println("Body: " + body);
            return "ok";
        } catch (Exception e) {
            System.err.println("Exception: " + e);
            return "error";
        }
    }
}