5.2-分布式文件系统

优质
小牛编辑
183浏览
2023-12-01
  • 数据存储容量的问题。
  • 数据读写速度的问题。
  • 数据可靠性的问题。

    几种常见 RAID 的对比

    |名称|优点|缺点| |------|------|------| |RAID 0|使用 N 块磁盘的 RAID 0,将数据从内存写入磁盘时,将数据分成 N 块,并发写入,读取同理。所以,读写速度是单盘的 N 倍。|任何一块盘损坏,数据完整性破坏,数据不可用。| |RAID 1|数据写入磁盘时,将一份数据同时写入两块磁盘,任何一块磁盘损坏都不会导致数据丢失,插入一块磁盘就能通过复制数据的方式自动修复。|不能提高读写速度,空间使用率为 1/2。| |RAID 10|将 N 块磁盘平均分成两份,数据同时在两份磁盘写入,这样既保证数据可靠性,同时提高了读写速度(提高到 N/2)。|空间使用率为 1/2。| |RAID 3|将数据分成 N-1 份,并发写入 N-1 块盘,并在第 N 块盘上记录校验数据,这样既保证数据可靠性(任何一块盘损坏,都可利用其他 N-1 块盘进行数据恢复),同时提高了读写速度(提高到 N-1 倍),同时空间使用率为 (N-1)/N。|任何磁盘数据的修改,都会导致第 N 块盘重写校验数据,第 N 块盘更容易损坏。| |RAID 5|相较于 RAID 3,RAID 5 的校验数据螺旋式写入所有的磁盘中。避免单盘损坏概率过高的问题。|仅能保证单盘损坏不丢失数据。| |RAID 6|相较于 RAID 5,RAID 6 数据写入 N-2 块盘,并将校验数据(使用不同算法生成)螺旋式写入两块盘中。尚未理解。||
文件系统开发语言数据存储方式节点通信协议元数据存储单点故障易用性适用场景
HDFSJAVA主备自动切换安装简单,官方文档全,社区活跃。大文件存储。
MFSCTCP主备节点安装简单,官方文档全,社区活跃。大文件存储。
TFSC++TCP主备节点安装复杂,官方文档少。小文件存储。
FastDFSC文件TCP安装简单,社区相抵活跃。小文件存储。

参考资料

Ceph,TFS,FastDFS,MogileFS,MooseFS,GlusterFS 对比