5.2-分布式文件系统
优质
小牛编辑
183浏览
2023-12-01
- 数据存储容量的问题。
- 数据读写速度的问题。
- 数据可靠性的问题。
几种常见 RAID 的对比
|名称|优点|缺点| |------|------|------| |RAID 0|使用 N 块磁盘的 RAID 0,将数据从内存写入磁盘时,将数据分成 N 块,并发写入,读取同理。所以,读写速度是单盘的 N 倍。|任何一块盘损坏,数据完整性破坏,数据不可用。| |RAID 1|数据写入磁盘时,将一份数据同时写入两块磁盘,任何一块磁盘损坏都不会导致数据丢失,插入一块磁盘就能通过复制数据的方式自动修复。|不能提高读写速度,空间使用率为 1/2。| |RAID 10|将 N 块磁盘平均分成两份,数据同时在两份磁盘写入,这样既保证数据可靠性,同时提高了读写速度(提高到 N/2)。|空间使用率为 1/2。| |RAID 3|将数据分成 N-1 份,并发写入 N-1 块盘,并在第 N 块盘上记录校验数据,这样既保证数据可靠性(任何一块盘损坏,都可利用其他 N-1 块盘进行数据恢复),同时提高了读写速度(提高到 N-1 倍),同时空间使用率为 (N-1)/N。|任何磁盘数据的修改,都会导致第 N 块盘重写校验数据,第 N 块盘更容易损坏。| |RAID 5|相较于 RAID 3,RAID 5 的校验数据螺旋式写入所有的磁盘中。避免单盘损坏概率过高的问题。|仅能保证单盘损坏不丢失数据。| |RAID 6|相较于 RAID 5,RAID 6 数据写入 N-2 块盘,并将校验数据(使用不同算法生成)螺旋式写入两块盘中。尚未理解。||
文件系统 | 开发语言 | 数据存储方式 | 节点通信协议 | 元数据存储 | 单点故障 | 易用性 | 适用场景 |
---|---|---|---|---|---|---|---|
HDFS | JAVA | 块 | 有 | 主备自动切换 | 安装简单,官方文档全,社区活跃。 | 大文件存储。 | |
MFS | C | 块 | TCP | 有 | 主备节点 | 安装简单,官方文档全,社区活跃。 | 大文件存储。 |
TFS | C++ | 块 | TCP | 有 | 主备节点 | 安装复杂,官方文档少。 | 小文件存储。 |
FastDFS | C | 文件 | TCP | 无 | 无 | 安装简单,社区相抵活跃。 | 小文件存储。 |