当前位置: 首页 > 工具软件 > boto > 使用案例 >

【AWS系列】boto3入门-下篇

狄飞鹏
2023-12-01

目录

1、使用介绍

1.1 下载文件

代码示例:

传输配置

修改multipart阈值

代码示例:

设置并发数

代码示例:

设置并发的实现方式

代码示例:

1.2 静态服务

将一个Bucket作为一个静态服务

获取:

设置:

删除:

查询:


 

上篇地址:

【AWS系列】boto3入门-上篇

下面继续介绍boto3的使用

1、使用介绍

1.1 下载文件

下载文件和上传文件是对称的

Client、Bucket、Object三个对象提供了download_file()download_fileobj()download_file()是并行的,

download_file_obj()是串行的,

这两个函数同样提供了ExtraArgs和Callback参数。

boto3.s3.transfer.S3Transfer.ALLOWED_DOWNLOAD_ARGS描述了下载过程的ExtraArgs的可用参数。

代码示例:

import boto3
 
s3 = boto3.client('s3')
s3.download_file('BUCKET_NAME', 'OBJECT_NAME', 'FILE_NAME')
 
with open('FILE_NAME', 'wb') as f:
    s3.download_fileobj('BUCKET_NAME', 'OBJECT_NAME', f)

传输配置

在上传文件、下载文件、复制文件过程中,AWS SDK会自动管理重试等网络配置。默认的网络配置可适用于大多数情况,只有特殊情境下才需要修改传输配置。
传输配置封装在 boto3.s3.transfer.TransferConfig对象中,upload_file()等函数都有一个Config参数接受一个TransferConfig对象

修改multipart阈值

当使用upload_file()上传一个大文件时,如果文件大小超过了multipart_threshold,那么会启动多线程上传。

代码示例:

import boto3
from boto3.s3.transfer import TransferConfig
 
# Set the desired multipart threshold value (5GB)
GB = 1024 ** 3
config = TransferConfig(multipart_threshold=5*GB)
 
# Perform the transfer
s3 = boto3.client('s3')
s3.upload_file('FILE_NAME', 'BUCKET_NAME', 'OBJECT_NAME', Config=config)

设置并发数

对于upload_file()download_file()默认启用多线程下载,为了减少网络占用或者增加网络占用,可以通过传输配置来控制。max_concurrency参数

代码示例:

# To consume less downstream bandwidth, decrease the maximum concurrency
config = TransferConfig(max_concurrency=5)
 
# Download an S3 object
s3 = boto3.client('s3')
s3.download_file('BUCKET_NAME', 'OBJECT_NAME', 'FILE_NAME', Config=config)

设置并发的实现方式

在boto3中,并发是通过多线程来实现的。如果不使用线程就没法实现并发max_concurrency参数会被忽略掉。

代码示例:

# Disable thread use/transfer concurrency
config = TransferConfig(use_threads=False)
 
s3 = boto3.client('s3')
s3.download_file('BUCKET_NAME', 'OBJECT_NAME', 'FILE_NAME', Config=config)

1.2 静态服务

将一个Bucket作为一个静态服务

获取:

获取桶的静态服务配置

import boto3
 
# Retrieve the website configuration
s3 = boto3.client('s3')
result = s3.get_bucket_website('BUCKET_NAME')

设置:

设置桶的静态服务配置

# Define the website configuration
website_configuration = {
    'ErrorDocument': {'Key': 'error.html'},
    'IndexDocument': {'Suffix': 'index.html'},
}
 
# Set the website configuration
s3 = boto3.client('s3')
s3.put_bucket_website('BUCKET_NAME', website_configuration)

设置桶策略:

import json
 
# Create a bucket policy
bucket_name = 'BUCKET_NAME'
bucket_policy = {
    'Version': '2012-10-17',
    'Statement': [{
        'Sid': 'AddPerm',
        'Effect': 'Allow',
        'Principal': '*',
        'Action': ['s3:GetObject'],
        'Resource': f'arn:aws:s3:::{bucket_name}/*'
    }]
}
 
# Convert the policy from JSON dict to string
bucket_policy = json.dumps(bucket_policy)
 
# Set the new policy
s3 = boto3.client('s3')
s3.put_bucket_policy(bucket_name, Policy=bucket_policy)

删除:

删除一个桶的网站配置

# Delete the website configuration
s3 = boto3.client('s3')
s3.delete_bucket_website('BUCKET_NAME')

删除桶策略

# Delete a bucket's policy
s3 = boto3.client('s3')
s3.delete_bucket_policy('BUCKET_NAME')

查询:

查询一个桶的权限

import boto3
 
# Retrieve the policy of the specified bucket
s3 = boto3.client('s3')
result = s3.get_bucket_policy('BUCKET_NAME')
print(result['Policy'])

 类似资料: