使用gcsfuse挂载的Bucket中的数据在Google Cloud实例上运行Docker

Question

我正在尝试运行Docker容器来分析Google Cloud Bucket中的数据。

我已经能够使用gcsfuse成功挂载存储桶，并且我测试了是否可以在存储桶中创建和删除文件之类的操作。

为了能够安装其他程序（并挂载bucket），我安装了Docker（并且没有使用Docker优化实例选项）。如果我在交互模式下运行Docker（不安装驱动器），它看起来工作正常。

但是，如果我尝试以交互模式运行Docker并安装驱动器（gcsfuse mounted Bucket），我会收到一条错误消息：

user@instance:~/bucket-name/subfolder$ docker run -it -v /home/user/bucket-name:/mnt/bucket-name gcr.io/deepvariant-docker/deepvariant
docker: Error response from daemon: error while creating mount source path '/home/user/bucket-name': mkdir /home/user/bucket-name: file exists.

我希望我很快就能解决这个问题:有人知道如何相对简单地修复这个错误消息吗？

顺便说一句，我意识到还有其他方法可以在Google Cloud上运行DeepVariant，但我正在尝试使事情尽可能类似于我在AWS上所做的事情（另外，我可能需要做一些额外的故障排除来分析我的一个文件）。

非常感谢您的帮助！

仅供参考，这是我安装桶的方式：

#mount directory: https://github.com/GoogleCloudPlatform/gcsfuse/blob/master/docs/installing.md
export GCSFUSE_REPO=gcsfuse-`lsb_release -c -s`
echo "deb http://packages.cloud.google.com/apt $GCSFUSE_REPO main" | sudo tee /etc/apt/sources.list.d/gcsfuse.list
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
sudo apt-get update
sudo apt-get -y install gcsfuse

#restart and mount directory: https://cloud.google.com/storage/docs/gcs-fuse
#NOTE: please make sure you are in your home directory (I encounter issues if I try to mount from /mnt)
mkdir [bucket-name]
gcsfuse -o allow_other --file-mode 777 --dir-mode 777 [bucket-name] ./[bucket-name]

这是我如何安装Docker的：

#install Docker for Debian: https://docs.docker.com/install/linux/docker-ce/debian/
sudo apt-get update
sudo apt-get -y install \
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg2 \
    software-properties-common
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo apt-key add -

sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/debian \
   $(lsb_release -cs) \
   stable"
sudo apt-get update
sudo apt-get -y --allow-unauthenticated install docker-ce docker-ce-cli containerd.io

#fix Docker sock issue: https://stackoverflow.com/questions/47854463/got-permission-denied-while-trying-to-connect-to-the-docker-daemon-socket-at-uni
sudo usermod -a -G docker [user]
#have to restart after this

Answer 1

另外，这是一个不同的问题，但我注意到，我可以修复从bucket运行可执行文件的问题，将命令从gcsfuse[bucket name]./[bucket-name]更改为gcsfuse--file mode 777--dir mode 777[bucket-name]./[bucket-name]（我相应地更改了示例代码）

Answer 2

我想我至少找到了解决问题的部分方法：

如本教程所述，您还需要运行gcloud auth-configure docker。

我发现您还需要退出并重新启动实例，但这严格解决了本文的原始错误消息。

我想得到了一个奇怪的消息，但也许那更多的是关于特定的容器。所以，我做了另一个测试:

docker run -it -v /home/user/bucket-name:/mnt/bucket-name cwarden45/dnaseq-dependencies

这一次，我收到了一条关于实例存储空间的错误消息（以便能够下载和运行Docker容器）。所以，我返回并使用更大的本地硬盘驱动器创建了一个新实例：

1）在Google Cloud Console中，我选择了“计算实例”和“VM实例”

2）我点击了“创建实例”（和之前类似）

3）我在“启动盘”下选择“更改”

4）我将大小设置为300 GB而不是10 GB（目前，在右下角，在“大小（GB）”下）

与之前类似，我为“计算机类型”选择了 8 个 vCPU，在“标识和 API 访问”下选择了“允许完全访问所有云 API”，并选中了“允许 HTTP 流量”和“允许 HTTPS 流量”（在“防火墙”下）的复选框。

我没有选择“将容器映像部署到此VM实例”，我相信这就是我使用“sudo”安装Docker以能够安装gcsfuse的方式。

我还必须将其称为“parital”解决方案，因为这允许我在交互模式下成功运行 Docker 容器，但装载的存储桶在 Docker 中显示为空。

对于另一个项目，我注意到，如果我在/opt下将可执行文件安装在本地硬盘上，则可以运行，但如果我尝试在存储桶上安装它们，则无法运行（为了每次节省这些程序的安装时间）。在AWS上，我认为我需要使用EFS存储而不是S3存储来做类似的事情，但我会继续学习更多关于使用Google Cloud Bucket进行装载存储/分析的知识。

Answer 3

对于任何经历类似错误/问题的人来说——以下是对我有效的方法。我采取的步骤:

1. 首先卸载已经挂载的磁盘：sudo umount /mounted_folder
2. 使用以下命令重新挂载磁盘，列出要显式使用的凭据文件

sudo GOOGLE_APPLICATION_CREDENTIALS=/home/user/credentials/example-asdf21b0af7.json gcsfuse -o allow_other bucket_name /mounted_folder

注意:每次重新启动计算机/虚拟机后，都需要运行此命令。将它格式化成< code>fstab可能已经完成，这样就不需要在每次重启时手动执行这些步骤。

解释：我在这里所做的是通过具有适当访问权限的用户/服务帐户的凭据JSON显式指定凭据（此处未说明如何获取此凭据，但应可进行googl处理），并在GOOGLE_APPLICATION_CREDENTIALS环境变量选项中引用该json，如以下答案所示：https://stackoverflow.com/a/39047673/10002593。由于某种原因，需要此环境变量选项可能是由于 gcsfuse 未注册与 gcloud 配置中激活的计数相同的访问级别。