需要帮助在Google Colab上提取Google卡通数据集

Question

我正在寻找谷歌卡通数据集的工作，网址为https://google.github.io/cartoonset/download.html.我会使用Googel Colab来完成分类任务，但那是以后的事了。目前的挑战是1。如何直接将数据获取到Colab或google drive，我使用了-

! wget --no-check-certificate \
    https://storage.cloud.google.com/cartoonset_public_files/cartoonset100k.tgz

这在colab中只得到一个60kb的小文件，然后第二部分是如何直接在colab temp文件中提取子文件夹。我确实试过了

import shutil
shutil.unpack_archive("cartoonset10k.tgz", "/tmp/")

with tarfile.open('cartoonset10k.tgz', 'r:gz') as tar:
    tar.extractall()

错误-ReadError：不是gzip文件

!tar -xzf cartoonset10k.tgz -C ~/tmp/

gzip：stdin：不是gzip格式tar：子返回状态1 tar：错误不可恢复：立即退出

我可以将数据下载到系统并解压缩，但挑战是再次将其上传到colab，这需要花费我在互联网上的时间。

Answer 1

Google要求您在通过http下载之前登录。60k文件实际上是一个HTML页面，要求您登录，而不是数据本身。

使用wget、curl或selenium登录很困难。

幸运的是，您可以使用gsutil直接下载，无需验证。

!gsutil cp gs://cartoonset_public_files/cartoonset100k.tgz .