Boto3逐行从S3键读取文件内容

Question

使用boto3，您可以从S3中的某个位置读取文件内容，给定一个bucket名称和密钥，如所示（这假设一个初步的导入boto3）

s3 = boto3.resource('s3')

content = s3.Object(BUCKET_NAME, S3_KEY).get()['Body'].read()

这将返回一个字符串类型。我需要获取的特定文件恰好是一组类似字典的对象，每行一个。所以它不是JSON格式。我不想将其作为字符串读取，而是将其作为文件对象进行流式处理并逐行读取；除了先在本地下载该文件外，找不到其他方法来执行此操作

s3 = boto3.resource('s3')

bucket = s3.Bucket(BUCKET_NAME)

filename = 'my-file'
bucket.download_file(S3_KEY, filename)

f = open('my-file')

我想问的是，是否有可能在不必先在本地下载的情况下对文件进行这种类型的控制？

Answer 1

这将完成以下工作：

bytes_to_read = 512

content = s3.Object(BUCKET_NAME, S3_KEY).get()['Body'].read(bytes_to_read)

Answer 2

kooshiwoosh对类似问题的以下评论提供了一个很好的答案：

from io import TextIOWrapper
from gzip import GzipFile
...

# get StreamingBody from botocore.response
response = s3.get_object(Bucket=bucket, Key=key)
# if gzipped
gzipped = GzipFile(None, 'rb', fileobj=response['Body'])
data = TextIOWrapper(gzipped)

for line in data:
    # process line

Answer 3

我发现.splitlines（）对我有用。。。

txt_file = s3.Object(bucket, file).get()['Body'].read().decode('utf-8').splitlines()

如果没有.splitlines（），则返回整个文本块，尝试迭代每一行会导致迭代每个字符。使用.splitlines（）可以实现逐行迭代。

在这里的示例中，我迭代每一行并将其编译成dict。

txt_file = s3.Object(bucket, file).get()['Body'].read().decode(
        'utf-8').splitlines()

for line in txt_file:
    arr = line.split()
    print(arr)