DVC 的使用

DVC 的基本使用

DVC (Data Version Control) 数据版本管理工具。DVC 类似于常用到的git代码管理工具。但 git 在工程中往往只是针对代码进行管理，换句话说就是对小文件进行管理，而 DVC 则解决了 git 的这个短板，它可以对工程中的大文件，数据进行管理。DVC 与 git 的结合使用，是目前工程中最具效率的搭档组合。DVC 官网

1. DVC 安装

pip install dvc
pip install dvc[s3]

2. 基本用法（结合git）

# 再某一空的文件夹下面初始化
git init
dvc init

# 添加文件或者文件夹到dvc
dvc add file
# dvc 会自动修改gitignore文件

# 设置远程存储位置
dvc remote add -d myremote s3://dvc
dvc remote modify myremote endpointurl http://cepth01

# 设置环境变量
export AWS_ACCESS_KEY_ID="<my-access-key>"
export AWS_SECRET_ACCESS_KEY="<my-secret-key>"

# 上传
dvc push

# 下拉
dvc pull

# 更新
dvc update