当前位置: 首页 > 知识库问答 >
问题:

从驱动器下载大文件到colab

江迪
2023-03-14
#!/usr/bin/env bash
function gdrive_download () { # credit to https://github.com/ethanjperez/convince
  CONFIRM=$(wget --quiet --save-cookies /tmp/cookies.txt --keep-session-cookies --no-check-certificate "https://docs.google.com/uc?export=download&id=$1" -O- | sed -rn 's/.*confirm=([0-9A-Za-z_]+).*/\1\n/p')
  wget --load-cookies /tmp/cookies.txt "https://docs.google.com/uc?export=download&confirm=$CONFIRM&id=$1" -O $2
  rm -rf /tmp/cookies.txt
}

mkdir -p Models/real-fixed-cam Models/real-hand-held
gdrive_download 1yiNsSkPYoBZ55fSQ1iwb1io9QL_PcR2i Models/real-fixed-cam/netG_epoch_12.pth
gdrive_download 13HckO9fPAKYocdB_CAC5n8uyM3xQ2MpG Models/real-hand-held/netG_epoch_12.pth
!wget https://gist.githubusercontent.com/andreyryabtsev/458f7450c630952d1e75e195f94845a0/raw/0b4336ac2a2140ac2313f9966316467e8cd3002a/download.sh
!chmod +x download.sh
!./download.sh
#!/usr/bin/env bash
function gdrive_download () { # credit to https://github.com/ethanjperez/convince
  CONFIRM=$(wget --quiet --save-cookies /tmp/cookies.txt --keep-session-cookies --no-check-certificate "https://docs.google.com/uc?export=download&id=$1" -O- | sed -rn 's/.*confirm=([0-9A-Za-z_]+).*/\1\n/p')
  wget --load-cookies /tmp/cookies.txt "https://docs.google.com/uc?export=download&confirm=$CONFIRM&id=$1" -O $2
  rm -rf /tmp/cookies.txt
}

mkdir -p pix2pix/checkpoint
gdrive_download 19VsarMcYRNPLTDr6b6ABJyY8JUeBueL8 pix2pix/checkpoint/weights.zip

上面的代码在colab中调用,使用:

!wget https://gist.githubusercontent.com/Daryl149/070397c9cb3539f5cd01173f6c44200d/raw/207a76e94e70e6c9334f48c25b4998f4fd1b95e3/download.sh
!chmod +x download.sh
!./download.sh

文件夹已正确创建。但是它不是将500MB+zip文件下载到checkpoints文件夹,而是从下载确认页面下载html。在日志记录中,该脚本似乎每次都提取一个新的下载确认字符串,这通常应该强制Google Drive在没有病毒扫描的情况下下载:

--2020-07-27 21:55:21--  https://drive.google.com/uc?export=download&confirm=umyj&id=19VsarMcYRNPLTDr6b6ABJyY8JUeBueL8
Resolving drive.google.com (drive.google.com)... 74.125.142.138, 74.125.142.101, 74.125.142.100, ...
Connecting to drive.google.com (drive.google.com)|74.125.142.138|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘pix2pix/checkpoint/weights.zip’

共有1个答案

栾和玉
2023-03-14
!gdown --id 19VsarMcYRNPLTDr6b6ABJyY8JUeBueL8
 类似资料:
  • 我对谷歌驱动器有问题。 链接前: 工作很好,直到现在:-(但现在它不再工作了。结果没有找到错误404,但文件存在。我可以上传文件和轻松构建下载URL。 例如,公共文档。 我如何才能下载未经授权的文件,我需要直接链接。 谢谢!!!

  • 问题内容: 我正在尝试从Google驱动器下载文件,我所拥有的只是驱动器的URL。 我已经阅读了有关API和的google API ,其中还需要一些凭据(主要是JSON )。但是我不知道它是如何工作的。 另外,尝试过,但我的情况是从驱动器中获取文件。也尝试过,但没有用。 尝试过的图书馆。它具有良好的驱动上传功能,但没有下载选项。 任何帮助将不胜感激。谢谢。 问题答案: 如果用“驱动器的网址”表示G

  • 如何将MS excel(.xlsx)文件从google drive导入colaboratory? 不起作用(是一个对象)。但是, 返回无。和 抛出: ()中的TypeErrorTraceback(最近一次调用)---- _io。BytesIO对象不可调用 我的意图是(给定一些有效的文件'id')将其导入为一个io对象,它可以被熊猫读取,并最终从中获得一个熊猫数据帧。

  • 我有一个文件表示为块的列表,目标是下载所有块,加入并保存为一个文件。 它应该适用于大文件 应该是跨浏览器解决方案 null null null null 但我仍然无法实现我的目标与涵盖的需求… 如果有人有经验,最好的解决方案,我恳请分享它在这里。谢谢

  • 问题内容: 好吧,这看起来很简单,确实如此。将文件下载到服务器所需要做的就是: 只有一个问题。如果文件很大,例如100mb,该怎么办?然后,您将耗尽内存,并且无法下载文件。 我想要的是一种在下载文件时将文件写入磁盘的方法。这样,我可以下载更大的文件,而不会遇到内存问题。 问题答案: 从PHP 5.1.0开始,支持通过传递流句柄作为参数来逐段编写: 从手册中: 如果 数据 [是第二个参数]是流资源,

  • 我想从一个谷歌文档中下载某个修订版。从Drive REST API v2中,我得到了以下链接: