从云存储桶下载多个文件

Question

我有一个处理CSV文件并返回一些分析的应用程序。我的用户将文件存储在GCP云存储桶中，我希望他们能够向我传递一个存储桶URL和一些身份验证令牌/签名URL，然后应用程序将下载文件并根据需要解析它们。

阅读GCP留档时，我遇到了以下gsutil命令：

gsutil cp -r gs://my_bucket

这正是我所需要的，但是我正在通过一些REST API HTTP请求寻找同样的功能。我肯定有这样的东西存在，但似乎找不到。或者，如果我可以“列出”一个存储桶中的所有文件，然后逐个下载，这也没问题，但显然不太方便。

Answer 1

您可以调用两个REST API中的任何一个：JSON或XML。要从公共Google云存储桶下载文件，请使用cURL向发出GET对象请求https://www.googleapis.com/storage/v1/b/

JSON API：

curl -X GET \ -H "Authorization: Bearer [OAUTH2_TOKEN]" \ -o "[SAVE_TO_LOCATION]" \ "https://www.googleapis.com/storage/v1/b/[BUCKET_NAME]/o/[OBJECT_NAME]?alt=media"

XML API：

curl -X GET \ -H "Authorization: Bearer [OAUTH2_TOKEN]" \ -o "[SAVE_TO_LOCATION]" \ "https://storage.googleapis.com/[BUCKET_NAME]/[OBJECT_NAME]"

您可以在此处阅读此API请求的文档。我们有许多客户端库/语言（Python API、Node.js、Java）的代码示例，展示如何从云存储中的存储桶下载对象。

请注意，对于多个文件，您必须对请求进行编程，所以如果您想轻松下载桶或子目录中的所有对象，最好使用gsutil来代替。对于传输，您可能还想使用gsutil-m选项来执行并行（多线程/多处理）副本：

gsutil -m cp -R gs://your-bucket 

如果要复制到特定目录中，请注意该目录必须首先存在，因为gsutils不会自动创建它。

mkdir my-bucket-local-copy && gsutil -m cp -r gs://your-bucket my-bucket-local-copy

下载文件所需的时间会大大减少。有关GCS cp命令的完整信息，请参阅此云存储文档。还可以看看这个stackoverflow线程，了解如何从云存储桶下载文件夹。

如果需要执行经过身份验证的下载，谷歌云存储还支持下载的签名URL。这些URL描述了谷歌云存储上的特定操作，比如下载，并带有时间敏感的签名。任何拥有URL的人都可以在谷歌云存储上执行指定的操作。它们可以安全地从服务器传递到客户端，但在使用签名URL时，我们必须记住一些注意事项。我们有许多客户端库/语言的代码示例，这些库/语言创建了用于下载对象的签名URL。

Answer 2

api参考可在此处找到：https://cloud.google.com/storage/docs/apis

您可能需要结合“对API进行身份验证”和“JSON API”中的信息-

或者，您也可以在云存储操作指南中找到这些信息：https://cloud.google.com/storage/docs/downloading-objects#rest-下载对象

Answer 3

不幸的是，要实现您的要求是不可能的，正如您所建议的，唯一的解决方案是列出文件并逐个下载（这就是gsutil命令在引擎盖下所做的）。

即使是代码示例文档也说明了这一点

要轻松下载bucket或子目录中的所有对象，请使用gsutil cp命令。

但是，您可以在python脚本中使用子进程调用gsutil命令。