如何使用gsutil从google云存储下载到带有http链接的AWS实例或s3 bucket？
我有一个谷歌云存储下载http链接，我想直接下载文件到AWS实例或s3桶。我尝试过gsutil cp或rsync，但它们不支持将凭据作为参数发送。
以下是链接。
https://storage.googleapis.com/<FILE PATH>?x-goog-signature=<SIGNATURE>&x-goog-algorithm=GOOG4-RSA-SHA256&x-goog-credential=<CREDENTIAL>goog4_request&x-goog-date=<DATE>Z&x-goog-expires=<EXPIRES>&x-goog-signedheaders=host
共有1个答案
正如@Jarmod提到的，一旦您有了一个可访问的URL，您就应该能够使用wget或curl等工具从GCS下载一个对象，然后将其上传到Amazon S3。
然而，GCP还提供了其他方法来实现这一点。例如，您可以按照最初的设想，通过运行gsutil cp或gsutil rsync使用gsutil工具与Amazon S3进行交互。为此，您需要将Amazon S3凭据添加到gsutil的。boto配置文件中。
-
这是在Windows Server 2012机器上安装的Google Cloud SDK。如果任何人有任何想法，如何做多个排除，这将是伟大的！ 谢谢你。
-
我有一个谷歌云存储桶，我可以使用python中的函数下载对象，我也可以使用或函数下载整个目录。 有没有一种方法可以使用python作为单个zip文件从存储桶下载整个目录。 这样做Python——从谷歌云存储下载整个目录需要我逐个文件下载。 有没有办法一次下载整个目录？
-
我正在尝试将数据从aws S3加载到谷歌云存储：-我正在使用gsutil-我已经将S3上的文件公之于众 在windows计算机上的gsutil命令行上，我输入了： 谢了。
-
是否可以使用来自Google API客户端Javascript库的承载令牌来授权Google云存储桶，而无需向用户请求https://www.googleapis.com/auth/devstorage范围。该桶具有对所有Google帐户的读写访问权限。
-
我正在使用GCS web仪表板/控制台中提供的传输工具来安排从S3到GCS的备份文件副本。 在GCS传输日志中，它显示UNKNOWN：（显示241个故障中的5个）。失败列表中显示的文件没有什么不同。同样的241个文件在每次计划的传输中失败。有没有地方我可以得到一个实际的错误消息？ 我已经检查过： 在这些失败之前和之后有超过150万成功复制的其他文件。这些失败不是在传输列表的开始或结束，也不是连续的
-
我需要从Google Cloud Storage（GCS->Temp Table->Main table)中加载100个表到BigQuery。我创建了一个python进程，将数据加载到BigQuery中，并在AppEngine中进行调度。因为AppEngine最多有10min的超时时间。我已经在异步模式下提交了作业，并在稍后的时间点检查了作业状态。由于我有100个表，需要创建一个监控系统来检查作业