Google Colab：如何从我的Google drive读取数据？

Question

问题很简单：我在gDrive上有一些数据，例如在/projects/my\u project/my\u data*上。

我也有一个简单的gColab笔记本。

所以，我想做这样的事情：

for file in glob.glob("/projects/my_project/my_data*"):
    do_something(file)

不幸的是，所有的例子（像这样-https://colab.research.google.com/notebook#fileId=/v2/external/notebooks/io.ipynb，例如）建议只将所有必要的数据主要加载到笔记本。

但是，如果我有很多数据，它可能会非常复杂。有没有解决这个问题的机会？

谢谢你的帮助！

Answer 1

谢谢你的回答！从Google drive向Colab获取一些一次性文件的最快方法：加载驱动器助手并装载

from google.colab import drive

这将提示进行授权。

drive.mount('/content/drive')

在新选项卡中打开链接-

!ls "/content/drive/My Drive"

然后根据需要复制文件：

!cp "/content/drive/My Drive/xy.py" "xy.py"

确认已复制文件：

!ls

Answer 2

好消息，PyDrive在CoLab上拥有一流的支持！PyDrive是Google Drive python客户端的包装器。下面是一个如何从文件夹下载所有文件的示例，类似于使用glob：

!pip install -U -q PyDrive
import os
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials

# 1. Authenticate and create the PyDrive client.
auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)

# choose a local (colab) directory to store the data.
local_download_path = os.path.expanduser('~/data')
try:
  os.makedirs(local_download_path)
except: pass

# 2. Auto-iterate using the query syntax
#    https://developers.google.com/drive/v2/web/search-parameters
file_list = drive.ListFile(
    {'q': "'1SooKSw8M4ACbznKjnNrYvJ5wxuqJ-YCk' in parents"}).GetList()

for f in file_list:
  # 3. Create & download by id.
  print('title: %s, id: %s' % (f['title'], f['id']))
  fname = os.path.join(local_download_path, f['title'])
  print('downloading to {}'.format(fname))
  f_ = drive.CreateFile({'id': f['id']})
  f_.GetContentFile(fname)


with open(fname, 'r') as f:
  print(f.read())

请注意，驱动器的参数。ListFile是一个与Google Drive HTTP API使用的参数一致的字典（您可以自定义q参数以根据您的用例进行调整）。

要知道，在所有情况下，文件/文件夹都是由Google Drive上的id编码的（请查看1SooKSw8M4ACbznKjnNrYvJ5wxuqJ YCk）。这要求您在Google Drive中搜索与要在其中搜索根目录的文件夹对应的特定id。

例如，导航到位于Google Drive中的文件夹"/project/my_project/my_data"。

请注意，它包含一些我们要下载到CoLab的文件。要获取文件夹的id以便PyDrive使用它，请查看url并提取id参数。在本例中，与文件夹对应的url为：

其中id是url的最后一部分：1SooKSw8M4ACbznKjnNrYvJ5wxuqJ YCk。

Answer 3

编辑：截至2020年2月，现在有一个用于自动安装驱动器的一流UI。

首先，打开左侧的文件浏览器。它将显示“装载驱动器”按钮。单击后，您将看到装载驱动器的权限提示，然后当您返回笔记本时，驱动器文件将不带任何设置。完成的流程如下所示：

原始答案如下。（这也适用于共享笔记本。）

您可以通过运行以下代码段装载Google Drive文件：

from google.colab import drive
drive.mount('/content/drive')

然后，可以在文件浏览器侧面板中或使用命令行实用程序与驱动器文件交互。

下面是一个笔记本示例