将文件从专用S3存储桶读取到数据帧

Question

我试图读取CSV文件从私人S3桶到熊猫数据帧：

df = pandas.read_csv('s3://mybucket/file.csv')

我可以从公共存储桶中读取文件，但从私有存储桶中读取文件会导致HTTP 403:禁止错误。

我已经使用aws配置配置了AWS凭据。

我可以使用boto3从私人存储桶下载文件，boto3使用aws凭据。似乎我需要配置pandas以使用AWS凭据，但不知道如何配置。

Answer 1

熊猫0.22及以上版本的更新：

如果已经安装了s3fs（pip install s3fs），则可以直接从s3路径读取文件，而无需任何导入：

data = pd.read_csv('s3:/bucket....csv')

稳定的医生

Answer 2

更新为熊猫0.20.1

熊猫现在使用s3fs处理s3连接。链接

熊猫现在使用s3fs处理S3连接。这不应该破坏任何代码。但是，由于s3fs不是必需的依赖项，因此需要单独安装它，就像之前版本的pandas中的boto一样。

import os

import pandas as pd
from s3fs.core import S3FileSystem

# aws keys stored in ini file in same path
# refer to boto3 docs for config settings
os.environ['AWS_CONFIG_FILE'] = 'aws_config.ini'

s3 = S3FileSystem(anon=False)
key = 'path\to\your-csv.csv'
bucket = 'your-bucket-name'

df = pd.read_csv(s3.open('{}/{}'.format(bucket, key), mode='rb'))
# or with f-strings
df = pd.read_csv(s3.open(f'{bucket}/{key}', mode='rb'))

Answer 3

熊猫使用boto（不是boto3）内的read_csv。您也许可以安装boto并使其正常工作。

boto和python 3.4.4/python3存在一些问题。5.1. 如果你在这些平台上，在这些平台被修复之前，你可以使用boto 3

import boto3
import pandas as pd

s3 = boto3.client('s3')
obj = s3.get_object(Bucket='bucket', Key='key')
df = pd.read_csv(obj['Body'])

那个obj有一个. read方法（返回字节流），这对于熊猫来说已经足够了。