AWS 开发工具包 JS：分段上传到 S3 导致数据损坏

Question

尝试使用AWS JS SDK上传mp4文件并启动多部分上传，当我尝试下载并在本地播放时，我不断收到文件损坏错误。

我的代码要点：

>

使用以下参数启动多部分上载：

const createMultipartUploadParams = {
  Bucket: bucketname,
  Key: fileHash.file_name,
  ContentType: 'video/mp4' // TODO: Change hardcode
};

打电话:

s3Instance.createMultipartUpload(createMultipartUploadParams, function(err, data) {
}

执行分块：参数：

 const s3ChunkingParams = {
      chunkSize,
      noOfIterations,
      lastChunk ,
      UploadId: data.UploadId
 }

读取文件：

     const reader = new FileReader();
     reader.readAsArrayBuffer(file)

上传每个区块：

        reader.onloadend = function onloadend(){
      console.log('onloadend');
      const partUploadParams = {
        Bucket: bucketname,
        Key: file_name,
        PartNumber: i, // Iterating over all parts
        UploadId: s3ChunkingParams.UploadId,
        Body: reader.result.slice(start, stop) // Chunking up the file
      };

      s3Instance.uploadPart(partUploadParams, function(err, data1) {
      }

最后完成multipartUpload：

s3实例。completeMultipartUpload（完成MultipartParams，函数（错误，数据）

我猜问题是我如何读取文件，所以我尝试将其内容编码为base64，但这使得文件的大小异常巨大。非常感谢您的帮助！

这个也试过了

Answer 1

唯一可能损坏的是，也许您正在为各个部分上传额外的填充内容，这基本上会导致最终对象出错。我不相信S3在这里做了一些可疑的事情。

您可以在上传文件后验证对象的最终大小，如果它与您的本地副本不匹配，那么您知道您在某个地方有问题。

您是否正在尝试从浏览器上传？

或者，您可以查看-https://github.com/minio/minio-js.它有最少的抽象API实现最常用的S3调用集。

这是一个用于流式上传的nodejs示例。

$ npm install minio
$ cat >> put-object.js << EOF

var Minio = require('minio')
var fs = require('fs')

// find out your s3 end point here:
// http://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region

var s3Client = new Minio({
  url: 'https://<your-s3-endpoint>',
  accessKey: 'YOUR-ACCESSKEYID',
  secretKey: 'YOUR-SECRETACCESSKEY'
})

var outFile = fs.createWriteStream('your_localfile.zip');
var fileStat = Fs.stat(file, function(e, stat) {
  if (e) {
    return console.log(e)
  }
  s3Client.putObject('mybucket', 'hello/remote_file.zip', 'application/octet-stream', stat.size, fileStream, function(e) {
    return console.log(e) // should be null
  })
})
EOF

putObject（） 这里是一个完全托管的单函数调用，用于超过5MB的文件大小，它会自动在内部执行多部分操作。您也可以恢复失败的上传，它将通过验证先前上传的段从中断处开始。

因此，您不必经历编写低级别多部分调用的麻烦。

此外，这个库也是同构的，也可以在浏览器中使用。