搭建mxnet-gpu docker的pyhon remote kernel

起因

最近看mxnet的东西，打算给实验室的机器装一个mxnet的环境，无奈实验室里面机器已经装了tensorflow，运行了好久了，环境比较老。而mxnet可是支持最新的cuda9.1和cudnn7的。研究了一段时间后，发现cuda的docker镜像是个不错的选择。别问我为啥不编译tensorflow以获得cuda9.1和cudnn7的支持，谁再让我编译tensorflow，谁是XX。

试着装了一个cuda9.1的docker镜像，发现很好用，基本除了nvidia-docker之外，不需要其他任何外部依赖。

配合atom的插件hydrogen，可以实现notebook的几乎全部功能。

这个文档中的带显卡的主机用的是ubuntu18.04的操作系统。远程访问的机器使用的是debian sid版本。

本来想用cuda9.2的，但是很尴尬的发现nvidia-docker不支持cuda9.2。

docker的安装

我们这里为了安装的速度比较快使用的是国内的docker安装镜像，具体的来说，使用的是ali云的docker安装镜像。注意这里说的是安装镜像，跟apt的源一样，只是用来安装docker用的。安装说明参考ali给的文档：

https://yq.aliyun.com/articles/110806

国内docker镜像源的修改

因为docker官方的镜像仓库在海外，国内访问还是比较慢的，所以我们需要修改一下，使用国内的docker镜像源。

注意，这里说的镜像源，不同于上一部分的安装源，这里说的是docker image存放的源，也就是docker hub。

以root权限，编辑/etc/docker/daemon.json文件，如果目录或者文件不存在，则直接创建就可以。这个文件是json格式的。在文件内添加如下内容：

{

    "registry-mirrors": ["https://registry.docker-cn.com"]

}

免 sudo 使用 docker

docker安装之后，默认，必须要用sudo去运行相关的docker命令，很不方便，这里做一下修改。

将用户加入 docker group 内。然后退出并重新登录。

sudo gpasswd -a ${USER} docker

重启 docker 服务

sudo service docker restart

切换当前会话到新 group 或者重启 X 会话

newgrp - docker

OR

pkill X

OR

ctrl alt backspace

注意，最后一步是必须的，否则因为 groups 命令获取到的是缓存的组信息，刚添加的组信息未能生效，所以 docker images 执行时同样有错。

到这里，已经可以happy的使用docker了，但是由于docker中是无法访问主机的显卡资源的，想要在docker内部用显卡，我们还得装一些特殊的东西。

nvidia-docker2的安装

这个工具可以打通docker内部的环境和主机上的显卡。没啥好说的，参考官方的文档安装就可以了：

https://github.com/NVIDIA/nvidia-docker/

不过，需要注意的是，这个安装的过程，会自动修改/etc/docker/daemon.json的内容，所以，我们刚刚添加的国内的docker镜像源的设置会被覆盖掉。所以我们要重新设置一下，经过编辑后，我的这个json文件内容如下：

{

    "registry-mirrors": ["https://registry.docker-cn.com"],

     "runtimes": {

        "nvidia": {

            "path": "nvidia-container-runtime",

            "runtimeArgs": []

        }

    }

}

做完这些，我们可以试着跑个nvidia的docker看看了：

docker run --runtime=nvidia --rm nvidia/cuda nvidia-smi

不出什么意外状况的话，你会看到主机上的显卡也能在docker中被正确的检测出来。

镜像的选择

nvidia自己以ubuntu的镜像为基础创建了一堆cuda的镜像：

https://hub.docker.com/r/nvidia/cuda/tags/

这些镜像中包含不同的cuda版本，以及不同的cuda库配置。

这里选用 9.1-cudnn7-runtime 这个标签的镜像作为基础。

构建docker镜像

这里使用的是docker build命令配合Dockerfile文件。

Dockerfile的语法参考 https://docs.docker.com/engine/reference/builder/

Dockerfile

文件内容如下

FROM nvidia/cuda:9.1-cudnn7-runtime



MAINTAINER dwSun



ADD sources.list /etc/apt/sources.list



RUN apt-get update

RUN apt-get install python3-pip libgfortran3 -y

RUN pip3 install mxnet-cu91mkl jupyter matplotlib seaborn pandas ipython scikit-image -i https://pypi.douban.com/simple/ && rm -rvf ~/.cache



RUN jupyter notebook --generate-config



RUN sed "s/#c.NotebookApp.token = '<generated>'/c.NotebookApp.token = 'mx_cuda'/" /root/.jupyter/jupyter_notebook_config.py -i



RUN mkdir /code



WORKDIR /code



EXPOSE 8888



CMD jupyter notebook --port=8888 --ip 0.0.0.0 --no-browser --allow-root

文件中有对sources.list文件的引用，这个文件跟Dockerfile放在同一个目录下面。文件为国内阿里的ubuntu镜像源，为的是apt-get的时候能够快一点，文件内容如下：

deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse

也可以使用其他的国内linux源，具体细节参考各个linux源关于ubuntu的使用说明。

注意这里使用的是ubuntu16.04，而ubuntu16.04的版本号是xenial

docker内的文件需要使用volume传递给外界，所以这里的镜像预留了一个code目录作为运行目录，使用默认参数运行的话，会直接从code目录启动ipython kernel的gateway。

sed前后的两行是为了让hydrogen运行的时候，可以不用输入token，这里直接将token设置为了mx_cuda

更详细的内容，参考 https://nteract.gitbooks.io/hydrogen/docs/Usage/RemoteKernelConnection.html

build

到Dockerfile所在的文件夹下面执行

docker build . -t mx_cuda

这里生成一个tag为mx_cuda的镜像。

需要注意的是，Dockerfile所在的文件会被整个发送给docker dameon作为编译的context，所以不要在这个文件夹里放其他没有意义的东西，更不要使用home目录。

hydrogen

介绍

参考：https://atom.io/packages/hydrogen

他们还有一个叫做nteract的项目，是桌面版本的notebook。参考 https://github.com/nteract/nteract

安装

使用apm或者直接在atom里面安装 hydrogen

apm install hydrogen

设置

找到hydrogen的设置，在 Kernel Gateways里面填写：

[{

  "name": "your config name",

  "options": {

    "baseUrl": "http://your_cuda_host_ip:port",

    "token": "mx_cuda"

  }

}]

运行

到cuda的主机里面执行以下命令，启动docker镜像里面的ipython kernel gateway。

docker run --runtime=nvidia -p 0.0.0.0:8888:8888 --rm mx_cuda -d

or

docker run --runtime=nvidia -p 0.0.0.0:8888:8888 --rm -v path:/code mx_cuda -d

在atom里面编写一个简单的mxnet测试脚本，使用ctrl+shift+p找到Hydrpgen： Connect to Remote Kernel并运行

然后就是实际的使用了。

不使用hydrogen

其实不使用hydrogen，也可以直接在浏览器里面直接输入http://your_cuda_host_ip:port，直接使用jupyter notebook。

注意事项

需要注意的是，因为我们是在远程调用的kernel，所以我们代码里面读取数据的部分，都是读取的kerenl所在机器的目录，也就是docker里面的目录，而不是我们写代码的ide启动的目录。

另外，你的代码如果有多个文件，那么，其实只有你编辑的那个文件能放到你的ide所在的机器上，其他的文件都要放在docker所在的那个显卡主机上，不然import是找不到的。也就是其实hydrogen的使用其限制跟jupyter notebook是一样的。

总结

其实这里是因为host的环境太复杂了，而且不好做变更，所以选了一个比较费劲而且折腾的办法，其中很多的步骤，可以抽出来，例如，可以直接在显卡主机上安装cuda和mxnet，使用同样的方式设置hydrogen。

之所以选hydrogen，是因为他的代码提示同时基于ipykernel和atom的python-ide，比jupyter爽太多了，而且不差jupyter中的交互式代码调试。不过毕竟hydrogen太小众，自己用用就好。如果是做演示的场合，老老实实用jupyter notebook吧。