在CloudML的Tensorflow中读取熊猫泡菜文件

Question

我试图读取熊猫泡菜时出错，例如df。到_pickle（）方法，该方法存储在谷歌云存储中。我正在努力做到以下几点：

path_to_gcs_file = 'gs://xxxxx'
f = file_io.FileIO(path_to_gcs_file, mode='r').read()
train_df = pd.read_pickle(f)
f.close()

我得到以下错误：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte

或者我试着：

f = BytesIO(file_io.read_file_to_string(path_to_gcs_file, binary_mode=True))
train_df = pd.read_pickle(f)

它可以在本地工作，但不能在CloudML上工作！

f = file_io.read_file_to_string(path_to_gcs_file, binary_mode=True)
train_df = pd.read_pickle(f)

给我一个错误：AttributeError:'bytes'对象没有属性'seek'

Answer 1

pandas.read_pickle接受路径作为第一个参数；您正在传递一个File对象（file. FileIO）和一个bytes对象（read_to_string）。

到目前为止，我还没有找到用熊猫直接从GCS读取泡菜物体的方法，所以你必须把它复制到机器上。你可以使用file_io.copy：

file_io.copy('gs://xxxx', '/tmp/x.pkl')
train_df = pd.read_pickle('/tmp/x.pkl')

Answer 2

你应该可以不用使用上下文管理器，但我认为你用这种方式是在终结证书，所以你应该通过api下载文件

pip install --upgrade google-cloud-storage

然后

# Initialise a client
storage_client = storage.Client("[Your project name here]")
# Create a bucket object for our bucket
bucket = storage_client.get_bucket(bucket_name)
# Create a blob object from the filepath
blob = bucket.blob("folder_one/foldertwo/filename.extension")
# Download the file to a destination
blob.download_to_filename(path_to_gcs_file)
with open(path_to_gcs_file, "rb" as f:
    train_df = = pickle.load(f)

从这个答案中得到了很多：从谷歌云存储的文件夹中下载文件