1.23 FDS第三方迁移工具
优质
小牛编辑
131浏览
2023-12-01
简介
FDS提供了第三方对象存储引擎迁移到FDS的命令行工具。工具下载地址：migration-tool.tar.gz
使用方法
| 参数 | 可选值 | 含义 | 例子 |
|---|---|---|---|
| -st | fds或oss （必填） | 迁移源端的对象存储名称，目前支持fds/oss/s3/ks3 | sh migration-tool.sh -st fds sh migration-tool.sh -st oss |
| -se | 必填 | 源端对象存储系统的endpoint | sh migration-tool.sh -se xxx.fds.api.xiaomi.com sh migration-tool.sh -se http://oss-cn-beijing.aliyuncs.com |
| -sak | 必填 | 源端对象存储的accessKey | |
| -ssk | 必填 | 源端对象存储的secretKey | |
| -sb | 必填 | 源端对象存储的bucket | |
| -de | 必填 | 目标fds的endpoint | sh migration-tool.sh -de xxx.fds.api.xiaomi.com |
| -dak | 必填 | 目标fds的accessKey | |
| -dsk | 必填 | 目标fds的secretKey | |
| -db | 必填 | 目标fds的bucket | |
| -bw | 可选 | 每个线程最大带宽，单位MB，默认10MB | |
| -ps | 可选 | 迁移的线程数， 默认是10 | |
| -nsle | 可选 | 不跳过已存在的object， 即覆盖已存在的文件 | sh migration-tool.sh -nsle |
| -sm | 可选 | 指定起始的object(指定后包含该object)，默认为null，即从头开始 | |
| -em | 可选 | 指定结束的object(指定后不包含该object)，默认为null，即到bucket的最后 | |
| -p | 可选 | 指定要迁移的object前缀，默认为null，即bucket下的所有object | |
| -fp | 可选 | 指定objects列表的文件路径 |
注意事项
迁移过程中，可能出现迁移失败的object
在log中，每分钟会打印一次迁移统计的log，copiedBad是指拷贝了，但是损坏了的文件数(迁移工具会自动删掉)，copiedFailed是指迁移失败的文件数，可以通过在log中搜关键词“Copied bad” 和 “Failed to copy object” 找到对应的object名