将文件从URL传输到Cloud Storage

Question

我是一名Ruby开发人员，尝试使用Python编写的Google Cloud Functions，并且将远程文件从给定的URL传输到Google Cloud
Storage（GCS）遇到了麻烦。

在等效的RoR应用程序中，我下载到该应用程序的临时存储，然后上传到GSC。

我希望有一种方法可以通过Cloud Function将远程文件简单地“下载”到我的GCS存储桶中。

这是我正在处理一些注释的简化示例，真实的代码从私有API提取URL，但是效果很好，而且不是问题所在。

from google.cloud import storage
project_id = 'my-project'
bucket_name = 'my-bucket'
destination_blob_name = 'upload.test'
storage_client = storage.Client.from_service_account_json('my_creds.json')

# This works fine
#source_file_name = 'localfile.txt'

# When using a remote URL I get 'IOError: [Errno 2] No such file or directory'
source_file_name = 'http://www.hospiceofmontezuma.org/wp-content/uploads/2017/10/confused-man.jpg'

def upload_blob(bucket_name, source_file_name, destination_blob_name):
    bucket = storage_client.get_bucket(bucket_name)
    blob = bucket.blob(destination_blob_name)
    blob.upload_from_filename(source_file_name)

upload_blob(bucket_name, source_file_name, destination_blob_name)

提前致谢。

Answer 1

无法直接从URL将文件上传到Google Cloud
Storage。由于您是从本地环境运行脚本，因此要上载的文件内容必须在同一环境中。这意味着url的内容需要存储在内存中或文件中。

基于您的代码的示例展示了如何执行此操作：

选项1
：您可以使用该wget模块，该模块将获取url并将其内容下载到本地文件中（类似于wgetCLI命令）。请注意，这意味着文件将存储在本地，然后从文件上传。os.remove上传完成后，我添加了一行以删除文件。

from google.cloud import storage
import wget
import io, os

project_id = 'my-project'
bucket_name = 'my-bucket'
destination_blob_name = 'upload.test'
storage_client = storage.Client.from_service_account_json('my_creds.json')

source_file_name = 'http://www.hospiceofmontezuma.org/wp-content/uploads/2017/10/confused-man.jpg'

def upload_blob(bucket_name, source_file_name, destination_blob_name):   
    filename = wget.download(source_file_name)

    bucket = storage_client.get_bucket(bucket_name)
    blob = bucket.blob(destination_blob_name)
    blob.upload_from_filename(filename, content_type='image/jpg')
    os.remove(filename)

upload_blob(bucket_name, source_file_name, destination_blob_name)

选项2
：使用该urllib模块，其工作方式与该wget模块相似，但不是写入文件，而是写入变量。请注意，我在Python3上做了这个示例，如果您打算在Python
2.X中运行脚本，则会有一些差异。

from google.cloud import storage
import urllib.request

project_id = 'my-project'
bucket_name = 'my-bucket'
destination_blob_name = 'upload.test'
storage_client = storage.Client.from_service_account_json('my_creds.json')

source_file_name = 'http://www.hospiceofmontezuma.org/wp-content/uploads/2017/10/confused-man.jpg'

def upload_blob(bucket_name, source_file_name, destination_blob_name):   
    file = urllib.request.urlopen(source_file_name)

    bucket = storage_client.get_bucket(bucket_name)
    blob = bucket.blob(destination_blob_name)

    blob.upload_from_string(link.read(), content_type='image/jpg')

upload_blob(bucket_name, source_file_name, destination_blob_name)