1.3.5 Fdsfuse介绍
优质
小牛编辑
129浏览
2023-12-01
简介
fdsfuse是类似s3fuse的分布式文件系统访问工具,相当于将fds的bucket挂载到本地目录。
fdsfuse在Cloud-ML中的使用
在cloud-ml-sdk 0.2.15之后的版本中,可以在cloudml init
时选择特定集群的fds bucket,在创建任务的时候,会自动将这个bucket挂载到运行环境的/fds
路径下。
生成的~/.config/xiaomi/config如下:
{
"cloudml_default_fds_bucket": "cloud-ml",
"xiaomi_access_key_id": "AKIxxxxxxxxxxxWI",
"xiaomi_cloudml_endpoint": "https://cnbj2.cloudml.api.xiaomi.com",
"xiaomi_fds_endpoint": "cnbj2.fds.api.xiaomi.com",
"xiaomi_secret_access_key": "4TTxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxSjlK"
}
或者使用环境变量:
export XIAOMI_FDS_ENDPOINT="cnbj2.fds.api.xiaomi.com"
export CLOUDML_DEFAULT_FDS_BUCKET="cloud-ml"