如何将数据帧上传到Python 3上的谷歌云存储（bucket）？

Question

我想创建一个Cloud Function（每天01:00执行）。函数应该

1. 生成数据帧
2. [导出为dataframe.csv]

.....

• 问题1：是否有可能将数据帧推送到桶？
• 问题2：如何在CloudFunction（CF）中创建一个. csv文件，以便将其推送到桶中？

现在更新代码：（仍给出错误）

def push_cars( data ):    ##  <<----- not sure how many paramter &why??

    import requests
    import pandas as pd
    import os
    from datetime import datetime

    from google.cloud.storage.blob import Blob
    from google.cloud import storage
    #import csv               # <<--- not sure if required???


    cars_dict = {'Brand': ['Honda Civic','Toyota Corolla','Ford Focus','Audi A4'],
        'Price': [22000,25000,27000,35000]
        }

    cars = pd.DataFrame(cars_dict, columns = ['Brand', 'Price'])

    timestamp = datetime.now().strftime("%Y_%m_%d-%H_%M_%S")
    name = "cars_" + timestamp + ".csv"

    cars.to_csv(  "/tmp/test.csv" ,index=False)
    with open('/tmp/test.csv', "w") as csv: 
      csv.write(name) 

    os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = "My-project.json"

    target_bucket = 'cars:python_gogo'


    storage_client = storage.Client()
    bucket         = storage_client.get_bucket(  target_bucket )
    data           = bucket        .blob(        name_output   )

对于云上的复制，您需要创建一个需求。包含以下内容的txt：

requests
pandas
google-cloud-storage
datetime

在cloud shell中，我使用以下内容部署此CF:gcloud函数部署push\u cars--入口点=push\u cars--运行时=python37--内存=1024MB--区域=us-east1--允许未经身份验证的--触发http

Answer 1

使用df.to_csv（'file path'）将CSV直接保存在云存储桶中。将您的gcs桶路由放在文件路径的位置。

例如-df。到csv（'gs://bucketname/filename.csv'）

Answer 2

问题1：

数据帧不能直接写入云存储，它需要是一个文件（可以是你提到的.csv），然后你可以将文件写入谷歌云存储桶。这意味着需要第2步。

问题2：

将dataframe.csv保存在/tmp中后，您可以将其传输到Google Cloud Storage buket。

实现这两个功能的代码如下所示：

def push_cars( data, context ):

    import requests
    import pandas as pd
    import os
    from datetime import datetime

    from google.cloud.storage.blob import Blob
    from google.cloud import storage


    cars_dict = {'Brand': ['Honda Civic','Toyota Corolla','Ford Focus','Audi A4'],
        'Price': [22000,25000,27000,35000]
        }

    cars = pd.DataFrame(cars_dict, columns = ['Brand', 'Price'])

    timestamp = datetime.now().strftime("%Y_%m_%d-%H_%M_%S")
    name = "cars_" + timestamp + ".csv"

    cars.to_csv(  cars ,index=False)
    with open('/tmp/test.csv', "w") as csv: 
      csv.write(cars) 

    os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = "My-project.json"

    target_bucket = 'sp500_python_gogo'

    storage_client = storage.Client()
    bucket         = storage_client.get_bucket(  target_bucket )
    with open('/tmp/test.csv', 'r') as file_obj:
      upload_blob(target_bucket, file_obj, name)