在python中读取制表符分隔值txt文件时遇到问题

Question

我试图读取一个标签分隔值txt文件在python中，我从AWS存储中提取。（

import io
import pandas as pd
import boto3
import csv
from bioservices import UniProt
from sqlalchemy import create_engine
s3 = boto3.resource(
    service_name='s3',
    region_name='us-east-2',
    aws_access_key_id='XXX',
    aws_secret_access_key='XXX'
)

所以这只是为了连接到AWS。接下来，当我运行这段代码来读取存储在AWS中的以制表符分隔的txt文件时

txt = s3.Bucket('compound-bioactivity-original-files').Object('helper-files/kinhub_human_kinase_list_30092021.txt').get()
txt_reader = csv.reader(txt, delimiter='\t')
for line in txt_reader:
    print(line)

我得到了这个输出，这不是我想要的。使用方言='excel-tab'而不是分隔符='\t'也给了我相同的输出

['ResponseMetadata']
['AcceptRanges']
['LastModified']
['ContentLength']
['ETag']
['VersionId']
['ContentType']
['Metadata']
['Body']

Answer 1

你的代码有几个问题。

首先，对象。get（）不返回Amazon S3对象的内容。相反，根据对象。get（）文档，它返回：

{
    'Body': StreamingBody(),
    'AcceptRanges': 'string',
    'LastModified': datetime(2015, 1, 1),
    'ContentLength': 123,
    'ETag': 'string',
    'VersionId': 'string',
    'CacheControl': 'string',
    'ContentDisposition': 'string',
    ...
    'BucketKeyEnabled': True|False,
    'TagCount': 123,
}

通过插入print（txt）作为调试行，可以看到这种情况。

如果您想访问对象的内容，您将使用body元素。要检索流式传输主体的内容，您可以使用. read（）。

但是，由于对象被视为二进制文件，因此返回为二进制字符串。在Python中，您可以使用. decode（'ascii'）将其转换回ASCII。请参阅：如何在Python3中将二进制字符串转换为普通字符串？

因此，您实际上需要使用：

txt = s3.Bucket('bucketname').Object('object.txt').get()['Body'].read().decode('ascii')

（如果这看起来太复杂，那么您可以简单地将文件下载到本地磁盘，然后在文件上使用CSV读取器——不必使用get/read/decode，它就可以很好地工作。）

下一个问题是csv的文档。读者说：

csv.reader（csvfile，方言='excel'，**fmtparams）
返回一个读取器对象，该对象将遍历给定csvfile中的行。csvfile可以是任何支持迭代器协议的对象，并在每次调用下一个（）方法时返回字符串

由于decode（）命令返回一个字符串，因此for循环将迭代字符串中的单个字符，而不是字符串中的行。

坦率地说，您可以在不使用CSV阅读器的情况下处理这些行，只需拆分行和选项卡，如下所示：

import boto3

s3 = boto3.resource('s3')

txt = s3.Bucket('bucketname').Object('object.txt').get()['Body'].read().decode('ascii')

lines = txt.split('\n')

for line in lines:
    fields = line.split('\t')
    print(fields)

通过添加一些调试来查看每个步骤是否返回了预期的数据，例如在每个步骤后打印变量的内容，上述所有问题都应该是显而易见的。