使用节点fs从aws s3桶读取文件

Question

我正在尝试使用读取aws s3存储桶中的文件

fs.readFile(file, function (err, contents) {
  var myLines = contents.Body.toString().split('\n')
})

我已经能够使用节点aws-sdk下载和上传文件，但是我不知道如何简单地读取它并解析内容。

下面是我如何从s3读取文件的示例：

var s3 = new AWS.S3();
var params = {Bucket: 'myBucket', Key: 'myKey.csv'}
var s3file = s3.getObject(params)

Answer 1

因为你似乎想逐行处理一个S3文本文件。下面是一个使用标准readline模块和AWS的createReadStream（）的节点版本

const readline = require('readline');

const rl = readline.createInterface({
    input: s3.getObject(params).createReadStream()
});

rl.on('line', function(line) {
    console.log(line);
})
.on('close', function() {
});

Answer 2

这将做到：

new AWS.S3().getObject({ Bucket: this.awsBucketName, Key: keyName }, function(err, data)
{
    if (!err)
        console.log(data.Body.toString());
});

Answer 3

你有几个选择。您可以将回调作为第二个参数，它将与任何错误消息和对象一起调用。这个例子直接来自AWS留档：

s3.getObject(params, function(err, data) {
  if (err) console.log(err, err.stack); // an error occurred
  else     console.log(data);           // successful response
});

或者，您可以将输出转换为流。AWS留档中也有一个例子：

var s3 = new AWS.S3({apiVersion: '2006-03-01'});
var params = {Bucket: 'myBucket', Key: 'myImageFile.jpg'};
var file = require('fs').createWriteStream('/path/to/file.jpg');
s3.getObject(params).createReadStream().pipe(file);