当前位置: 首页 > 知识库问答 >
问题:

AWS CLI 不会自动对 s3 使用分段上传

令狐凌
2023-03-14

根据AWS页面,如果文件大小足够大,它将自动使用多部分上传,以便我可以运行此命令

aws s3 cp large_test_file s3://DOC-EXAMPLE-BUCKET/

上传应该是多部分的。

然而,我正在上传一个1gb的文件,它似乎是作为一个正常的文件上传。

此外,我的bucket策略没有多部分列表或上传(只是put对象)的权限,所以我不知道这是如何工作的。

如果是的话,我想澄清一下。

  • 确实使用了多部分上传(未通知我)
  • 如果我不授予它权限,它怎么能这样做

共有1个答案

严知
2023-03-14

多部分上传的文档在权限部分提到了这一点:

创建分段上传

必须允许您对对象执行 s3:PutObject 操作以创建分段上传。

bucket所有者可以允许其他主体执行s3:PutObject操作。

换句话说,< code>PutObject权限不仅允许< code>PutObject,还允许执行多部分上载所需的< code > CreateMultipartUpload 和相关调用。

 类似资料:
  • 我编写了以下代码来使用多部分上传(每个部分大于5 MB)将集合字符串上传到S3,但当我从S3下载回来时,它只包含来自一个部分的字符串。 我按以下顺序调用上述代码。 创建低级多部分上传对象 循环上传零件 呼叫完成上传

  • 我正在使用香草Rails活动存储文件上传与多个:真实选项。这些文件存储在S3上。设置运行良好。然而,我认为对于非常大的文件,实现多部分上传将是有益的,以获得最佳速度和可靠性。 我在这里找到了AWS S3分段上传的描述:https://docs.aws.amazon.com/AmazonS3/latest/dev/mpuoverview.html 我还发现了一个特定于Ruby的页面:https://

  • 我正在尝试使用 java 对亚马逊 S3 进行分段上传。我正在使用下面链接中的代码。 http://docs.aws.amazon.com/AmazonS3/latest/dev/llJavaUploadFile.html 方案 1:要上载的文件大小为 31627。我使用 partSize 作为 500000 来指定单个部件的大小。 由于文件的大小小于部分大小,因此文件将上传到 S3。 方案 2:

  • 我有几个lambda函数,可以将多部分上传到Amazon S3存储桶。它们负责创建多部分上传,然后为每个部分上传创建另一个,最后一个用于完成上传。 前两个似乎工作正常(它们以statusCode 200响应),但最后一个失败了。在Cloudwatch上,我可以看到一个错误,说“您建议的上传小于允许的最小大小”。 事实并非如此,因为我上传的文件大于文档上指定的最小大小5Mb。但是,我认为问题发生在每

  • 我有很多DynamoDB表要在数据管道中设置备份。我能够通过aws命令行为1或2个表传递一个json文件,这意味着json文件正在工作。 但是,当我传递一个大型JSON(包含50-100个DynamoDB表)来设置DataPipeline时,我会遇到这样的错误: 调用PutPipelineDefinition操作时发生错误(InvalidRequestException):超过Web服务限制:超过

  • 我正在尝试使用 AWS PHP 开发工具包将一个 30 GB 的文件上传到亚马逊 S3。 它适用于最大7GB的文件。上传30 GB文件时,脚本运行约2小时后,我收到以下错误: 将部件上载到多部件上载时发生异常。以下部分出错:-第5部分:在上执行“UploadPart”时出错https://s3.amazonaws.com/Server3-27-SEP-2015/S3_www_1443369605.