通过boto3 upload_file api将文件上传到AWS S3存储桶会给出“匿名用户无法启动多部分上传。请验证。”错误

Question

我有一个大约16mb的文件，正在使用python boto3 upload_file api将该文件上传到S3存储桶中。然而，我认为API在内部选择了多部分上传，并给了我一个“匿名用户无法启动多部分上传”错误。

在应用程序的某些运行中，生成的文件可能较小（几 KB）。一般情况下处理这种情况或修复我上面提到的错误的最佳方法是什么？

我目前有一个Django应用程序，它在运行时生成一个文件，并将此文件直接上传到S3存储桶中。

Answer 1

好的，所以除非你已经打开了你的S3存储桶供全世界上传（这是非常不推荐的），否则听起来你需要正确设置访问你的S3存储桶的权限。

如何做将根据您如何运行该应用程序而有所不同——所以让我们涵盖几个选项——在所有情况下，您将需要做两件事:

• 将脚本与IAM主体（IAM用户或IAM角色，具体取决于此脚本的运行位置/方式）相关联
• 为该主体添加访问bucket的权限（这可以通过IAM策略或S3 bucket策略实现）

Lambda函数——您需要为您的应用程序创建一个IAM角色，并将其与您的Lambda函数相关联。一旦配置完成，Boto3应该能够透明地承担这个角色。

EC2实例或ECS任务-您需要为您的应用程序创建一个IAM角色，并将其与您的EC2实例/ECS任务相关联。Boto3将能够通过实例元数据访问角色的凭据，并且应该自动承担该角色。

本地工作站脚本——如果您从本地工作站运行这个脚本，那么boto3应该能够找到并使用您为AWS CLI设置的凭证。如果这些不是您想要使用的凭证，您将需要生成一个访问密钥和秘密访问密钥(如果您走这条路，请注意如何保护它们，并且一定要遵循最小特权)。

现在，一旦您获得了主体，您可以附加一个IAM策略，该策略授予IAM用户或角色允许上传到存储桶的权限，或者您可以在存储桶策略中添加一个子句，授予该IAM用户或角色访问权限。您只需要执行其中一项。

多部分上传是通过与单部分上传相同的S3:PutObject调用来执行的(尽管如果你的文件很小，我会很惊讶它对它们使用了多部分)。如果你使用KMS，需要注意的一个小技巧是，如果加密多部分上传，你需要使用KMS密钥的加密和解密权限。