将文件从s3存储桶下载到USERS计算机

Question

目标

将文件从s3存储桶下载到用户计算机。

语境

我正在为React应用开发Python / Flask API。当用户单击前端上的“下载”按钮时，我想将适当的文件下载到他们的计算机上。

我尝试过的

import boto3 s3 = boto3.resource('s3') s3.Bucket('mybucket').download_file('hello.txt', '/tmp/hello.txt')

我目前正在使用一些代码来查找下载文件夹的路径，然后将该路径以及他们试图下载的存储桶中的文件作为第二个参数插入到download_file（）中。

这在本地有效，并且测试运行良好，但是一旦部署，我就遇到了问题。该代码将找到SERVER的下载路径，并将文件下载到该位置。

题

解决此问题的最佳方法是什么？我已经研究过，但找不到能够将文件从s3存储桶下载到用户下载文件夹的好的解决方案。任何帮助/建议，我们将不胜感激。

Answer 1

您无需将文件保存到服务器。您可以将文件下载到内存中，然后构建一个Response包含该文件的对象。

from flask import Flask, Response
from boto3 import client

app = Flask(__name__)


def get_client():
    return client(
        's3',
        'us-east-1',
        aws_access_key_id='id',
        aws_secret_access_key='key'
    )


@app.route('/blah', methods=['GET'])
def index():
    s3 = get_client()
    file = s3.get_object(Bucket='blah-test1', Key='blah.txt')
    return Response(
        file['Body'].read(),
        mimetype='text/plain',
        headers={"Content-Disposition": "attachment;filename=test.txt"}
    )


app.run(debug=True, port=8800)

小文件也可以，对于用户来说，没有任何有意义的等待时间。但是，对于较大的文件，这会严重影响UX。该文件将需要完全下载到服务器，然后再下载给用户。因此，要解决此问题，请使用方法的Range关键字参数get_object：

from flask import Flask, Response
from boto3 import client

app = Flask(__name__)


def get_client():
    return client(
        's3',
        'us-east-1',
        aws_access_key_id='id',
        aws_secret_access_key='key'
    )


def get_total_bytes(s3):
    result = s3.list_objects(Bucket='blah-test1')
    for item in result['Contents']:
        if item['Key'] == 'blah.txt':
            return item['Size']


def get_object(s3, total_bytes):
    if total_bytes > 1000000:
        return get_object_range(s3, total_bytes)
    return s3.get_object(Bucket='blah-test1', Key='blah.txt')['Body'].read()


def get_object_range(s3, total_bytes):
    offset = 0
    while total_bytes > 0:
        end = offset + 999999 if total_bytes > 1000000 else ""
        total_bytes -= 1000000
        byte_range = 'bytes={offset}-{end}'.format(offset=offset, end=end)
        offset = end + 1 if not isinstance(end, str) else None
        yield s3.get_object(Bucket='blah-test1', Key='blah.txt', Range=byte_range)['Body'].read()


@app.route('/blah', methods=['GET'])
def index():
    s3 = get_client()
    total_bytes = get_total_bytes(s3)

    return Response(
        get_object(s3, total_bytes),
        mimetype='text/plain',
        headers={"Content-Disposition": "attachment;filename=test.txt"}
    )


app.run(debug=True, port=8800)

这将以1MB的块下载文件，并在下载文件时将其发送给用户。这两个.txt文件均已通过40MB文件进行了测试。