AWS 文件上传量超过 5mb - 节点

Question

我使用这个模块上传文件到亚马逊

https://www.npmjs.com/package/streaming-s3，如果文件小于或等于 5 MB，则工作正常。

我试着上传6 MB大小的PDF文件。它显示上传成功，但当我试图通过aws打开该文件。

它显示无法加载PDF文档

当我在Aws上检查大小时，显示为5MB。

我正在使用以下代码在 AWS 上上传

var options = {
        concurrentParts: 2,
        waitTime: 20000,
        retries: 2,
        maxPartSize: 10 * 1024 * 1024
    };
    //call stream function to upload the file to s3
    var uploader = new streamingS3(fileReadStream, config.aws.accessKey, config.aws.secretKey, awsHeader, options);
    //start uploading
    uploader.begin();// important if callback not provided.

    // handle these functions
    uploader.on('data', function (bytesRead) {
        console.log(bytesRead, ' bytes read.');
    });

    uploader.on('part', function (number) {
        console.log('Part ', number, ' uploaded.');
    });

    // All parts uploaded, but upload not yet acknowledged.
    uploader.on('uploaded', function (stats) {
        console.log('Upload stats: ', stats);
    });

    uploader.on('finished', function (response, stats) {
        console.log(response);
        logger.log('info', "UPLOAD ", response);
        cb(null, response);
    });

    uploader.on('error', function (err) {
        console.log('Upload error: ', err);
        logger.log('error', "UPLOAD Error: ", err);
        cb(err);
    });

这对于小于5 MB的文件工作正常。

有什么想法吗？我需要在AWS上进行任何设置吗？

谢啦

Answer 1

这是通过多部分文件上传API将内容通过管道传输到S3的所需功能，即使在大小为GB的流上操作时，您也可以保持低内存使用率。此流通过将流按5 MB部分刷新到S3来避免高内存使用率，这样它一次只能存储5 MB的流数据。

我们在这里面临的问题是下一部分没有加起来。

请参考此链接了解https://www.npmjs.com/package/s3-upload-stream的端到端详细信息

您还可以跟踪上载进度，以使用调试问题

/* Handle progress. Example details object:
   { ETag: '"f9ef956c83756a80ad62f54ae5e7d34b"',
     PartNumber: 5,
     receivedSize: 29671068,
     uploadedSize: 29671068 }
*/
upload.on('part', function (details) {
  console.log(details);
});

即使在完整的文件上传完成。

upload.on('uploaded', function (details) {
  console.log(details);
});