1.7.4.3 使用HDFS存储

简介

注意：Xiaomi Cloud-ML服务访问HDFS数据，由于各个机房和用户网络环境差别，请首先联系Cloud-ML开发人员，咨询Cloud-ML服务是否可以访问特定的HDFS集群。

使用Docker容器

我们已经制作了Docker镜像，可以直接访问c3prc-hadoop集群。

sudo docker run -i -t --net=host -e PASSWORD=mypassword cnbj6-repo.cloud.mi.com/cloud-ml/dev-tensorflow-gpu:1.6.0-xm1.0.0-c3prc-hadoop bash

使用DevEnv

我们提供了更易用的DevEnv境，可以直接在界面或命令行创建开发环境。

cloudml dev create -n mydev -p mypassword

然后可以查看开发环境信息，找到服务器ip和端口，直接ssh登录。

cloudml dev describe dev1

ssh -p 30001 root@10.0.0.1

为了测试能否真的能读HDFS的个人数据，可以先把TFRecords等数据上传到HDFS，然后参考这个项目来测试 http://github.com/tobegit3hub/deep_recommend_system 。

wget https://github.com/tobegit3hub/deep_recommend_system/archive/master.zip

unzip ./master.zip

cd ./deep_recommend_system-master/

先kinit初始化kerberos账号，然后直接运行传入参数即可。

echo rdKlxxxxxxrnyYU | kinit u_test@XIAOMI.HADOOP

./dense_classifier.py --train_file hdfs://namenode:port/deep_recommend_system/data/cancer_train.csv.tfrecords --validate_file hdfs://namenode:port/deep_recommend_system/data/cancer_test.csv.tfrecords