当前位置：首页 > 软件库 > 大数据 > 数据存储 >

FastCFS

基于块存储的通用分布式文件系统

授权协议 AGPL-3.0

开发语言 C/C++

所属分类大数据、数据存储

软件类型开源软件

地区国产

投递者逑沛

操作系统跨平台

开源组织无

适用人群未知

软件官网

软件文档

官方下载

软件概览

FastCFS 是一款基于块存储的通用分布式文件系统，可以作为MySQL、PostgresSQL、Oracle等数据库和云平台的后端存储。

支持的操作系统

Linux: Kernel version >= 3.10 （完全支持）
MacOS or FreeBSD （仅支持服务端，不支持FUSE）

依赖

libfuse (版本 3.9.4 或更高版本)
- Python (版本 3.5 或更高版本)
- Ninja (版本 1.7 或更高版本)
- gcc (版本 4.7.0 或更高版本)
libfastcommon (tag: V1.0.45)
libserverframe (tag: V1.1.1)
fastDIR (tag: V1.1.0)
faststore (tag: V1.1.0)
FastCFS (tag: V1.1.0)

安装

libfuse可以采用脚本libfuse_setup.sh一键编译和安装。

libfastcommon、libserverframe、fastDIR、faststore和FastCFS 五个安装包可采用 fastcfs.sh 脚本统一安装配置，也可以按照5.1 - 5.6部分独立安装配置。

统一安装方式

git clone https://github.com/happyfish100/FastCFS.git; cd FastCFS/

通过执行fastcfs.sh脚本，可自动从github仓库拉取或更新五个仓库代码，按照依赖顺序进行编译、安装，并能根据配置文件模版自动生成集群相关配置文件。

fastcfs.sh 命令参数说明：

pull -- 从github拉取或更新代码库（拉取到本地build目录）
makeinstall -- 顺序编译、安装代码库（make && make install）
init -- 初始化集群目录、配置文件（已存在不会重新生成）
clean -- 清除已编译程序文件（相当于make clean）

一键搭建(包括部署和运行)demo环境（需要root身份执行）：

./helloWorld.sh --prefix=/usr/local/fastcfs-test

或执行如下命令（需要root身份执行）：

./libfuse_setup.sh
./fastcfs.sh pull
./fastcfs.sh makeinstall
IP=$(ifconfig -a | grep -w inet | grep -v 127.0.0.1 | awk '{print $2}' | tr -d 'addr:' | head -n 1)
./fastcfs.sh init \
	--dir-path=/usr/local/fastcfs-test/fastdir \
	--dir-server-count=1 \
	--dir-host=$IP  \
	--dir-cluster-port=11011 \
	--dir-service-port=21011 \
	--dir-bind-addr=  \
	--store-path=/usr/local/fastcfs-test/faststore \
	--store-server-count=1 \
	--store-host=$IP  \
	--store-cluster-port=31011 \
	--store-service-port=41011 \
	--store-replica-port=51011 \
	--store-bind-addr= \
	--fuse-path=/usr/local/fastcfs-test/fuse \
	--fuse-mount-point=/usr/local/fastcfs-test/fuse/fuse1

注：--fuse-mount-point为mount到本地的路径，通过这个mount point对FastCFS进行文件存取访问。

FCFS_SHELL_PATH=$(pwd)/build/shell
$FCFS_SHELL_PATH/fastdir-cluster.sh restart
$FCFS_SHELL_PATH/faststore-cluster.sh restart
$FCFS_SHELL_PATH/fuse.sh restart

上述操作完成后，通过命令 df -h 可以看到FastCFS挂载的文件目录。

libfastcommon

git clone https://github.com/happyfish100/libfastcommon.git; cd libfastcommon/
git checkout master
./make.sh clean && ./make.sh && ./make.sh install

默认安装目录：

/usr/lib64
/usr/lib
/usr/include/fastcommon

libserverframe

git clone https://github.com/happyfish100/libserverframe.git; cd libserverframe/
./make.sh clean && ./make.sh && ./make.sh install

fastDIR

git clone https://github.com/happyfish100/fastDIR.git; cd fastDIR/
./make.sh clean && ./make.sh && ./make.sh install

faststore

git clone https://github.com/happyfish100/faststore.git; cd faststore/
./make.sh clean && ./make.sh && ./make.sh install
mkdir /etc/fstore/
cp conf/server.conf conf/client.conf conf/servers.conf conf/cluster.conf conf/storage.conf /etc/fstore/

libfuse

构建libfuse需要先安装meson和ninja。安装meson和ninja需要python3.5及以上版本。

python安装

包名：python3 python3-pip

Ubuntu下安装命令：

apt install python3 python3-pip -y

CentOS下安装命令：

yum install python3 python3-pip -y

meson 和 ninja 安装

pip3 install meson
pip3 install ninja

gcc安装

Ubuntu下安装命令：

apt install gcc g++ -y

CentOS下安装命令：

yum install gcc gcc-c++ -y

libfuse安装

git clone https://github.com/libfuse/libfuse.git
cd libfuse/
git checkout fuse-3.10.1
mkdir build/; cd build/
meson ..
meson configure -D prefix=/usr
meson configure -D examples=false
ninja && ninja install
sed -i 's/#user_allow_other/user_allow_other/g' /etc/fuse.conf

FastCFS

git clone https://github.com/happyfish100/FastCFS.git; cd FastCFS/
./make.sh clean && ./make.sh && ./make.sh install
mkdir /etc/fcfs/
cp conf/fuse.conf /etc/fcfs/

配置

为了更好地控制FastCFS的性能，我们通过各种设置参数为FastCFS提供了高度可配置和可调节的行为。

FastCFS的配置由多个子文件组成，其中一个是入口文件，其他文件用于引用。目录/etc/fstore 是FastCFS配置文件的默认存放位置，但是在单个服务器上安装多个FastCFS实例时，必须为每个实例指定不同的位置。

FastCFS有以下几个配置文件：

server.conf - 服务器全局参数配置
cluster.conf - 集群参数配置
servers.conf - 服务器组参数配置
storage.conf - 存储参数配置
client.conf - 客户端使用的配置文件，需引用cluster.conf

使用案例

FastCFS性能碾压Ceph之技术揭晓

FastCFS性能碾压Ceph之技术揭秘本篇文章转载于 FastCFS 作者余庆大佬的 FastDFS分享与交流公众号。 FastCFS 已发布了版本 2.2.0，IOPS 全面超越 Ceph：顺序写是Ceph 的 6.x 倍，顺序读是 Ceph 的 2.x 倍，随机写大约是 Ceph 的 2 倍。具体的性能测试数据参见：https://gitee.com/fastdfs100/Fast
云原生分布式存储系统FastCFS安装简明教程

云原生分布式存储系统FastCFS安装简明教程本篇文章转载于 FastCFS 作者余庆大佬的 FastDFS分享与交流公众号。我将自己部署 FastCFS集群以及和 k8s集群打通的全过程分享出来，希望能够帮助到尝试使用 FastCFS 的同学。 1. 快速部署如果你只是想简单快速上手体验 FastCFS，作为学习或者本地测试环境而非生产环境，你可以选择以下两种方式部署 FastC
FastCFS数据一致性配置和实践

FastCFS今天发布了v3.5，支持多数派数据复制，在网络不稳定或者系统繁忙等情况下，仍可保证数据一致性和可靠性。FastCFS v3.5从机制上保证了数据一致性，在实际使用中我们该如何进行软硬件配置呢？三副本既可以防leader脑裂，还可以采用多数派数据复制算法，保证数据一致性。对于访问量较大的企业，可以直接使用三副本。对于3副本或5副本等奇数副本数，FastCFS默认配置就
基于FastCFS的NFS搭建及常见问题排查

通过 POSIX 兼容性测试的v3.7发布后，FastCFS完全可以作为NFS的后端存储，推荐使用FastCFS v3.7.1及后续版本。FastCFS的搭建参见gitee上的FastCFS项目官网，本文着重介绍FastCFS作为后端存储的NFS搭建及常见问题排查。一、服务端 NFS服务端运行在FastCFS的fuse client节点上。 1.1 安装 CentOS和RHEL：yum inst
FastCFS V3.5 发布，支持多数派数据复制

经过一个多月紧锣密鼓的研发，FastCFS v3.5发布了。v3.5主要完成了异常情况下保证数据一致性的改进工作：数据提交采用多数派确认机制保证在高负载等不稳定情况下数据一致性和可靠性；实现了数据不一致时的自动恢复机制（以前版本是持续报错），包括如下两点： 1. slave自动回滚不一致的数据，然后从master恢复数据； 2. 在重启情况下，如果slave的数据版本比master
FastCFS在eRDMA与传统网络环境下对比测试分享

FastCFS 是一款强一致性、高性能、高可用、支持百亿级海量文件的通用分布式文件系统，可以作为MySQL、PostgresSQL、Oracle等数据库，k8s，KVM，FTP，SMB和NFS等系统的后端存储。数据库作为IO密集型软件，对磁盘IO和网络IO性能要求比较高。把数据库跑在分布式文件系统上，必然会碰到网络IO这个性能瓶颈。使用RDMA是消除网络IO瓶颈的有效方法，但使用原生libver
FastCFS: 基于块存储的高性能通用分布式文件系统，可以作为数据库（MySQL、PostgresSQL、Oracle等）的后端...

FastCFS -- 可以跑数据库的高性能云原生分布式文件系统 1. 关于 FastCFS 是一款基于块存储的通用分布式文件系统，可以作为MySQL、PostgresSQL、Oracle等数据库和云平台的后端存储。 2. 当前版本 V1.1.0 3. 支持的操作系统 Linux: Kernel version >= 3.10 (完全支持) MacOS or FreeBSD (仅支持服务端，不支持F
高性能分布式文件系统FastCFS V2.3.0发布

FastCFS V2.3.0发布，主要改进如下： 1. auth server以主备方式支持多节点，避免单点； 2. leader/master选举/切换引入超时机制，选举时长可控； 3. 网络通信相关改进： 1）握手失败，server端主动断开连接； 2）cluster内部通信server端超时控制； 3）调整网络通信超时默认值（
可以跑数据库的分布式文件系统FastCFS

分布式文件系统FastCFS 本篇文章转载于 FastCFS 作者余庆大佬的 FastDFS分享与交流公众号。 FastCFS 是一款基于块存储的通用分布式文件系统，可以作为 MySQL、PostgresSQL、Oracle 等数据库和云平台的后端存储。已经有了比较受欢迎的FastDFS，为啥还要研发FastCFS呢？ FastDFS是轻量级的对象存储，只能通过专有API访问，为互联网应用
FastCFS POSIX API简介

刚发布的FastCFS V3.2提供系统调用API（如 open、write、writev、read、readv、close 等）和 C API（如fopen、fwrite、fread、fclose等）两大类POSIX API，应用程序可以通过这两类API使用FastCFS存储。FastCFS在POSIX API名称前面加上前缀 fcfs_，比如 fcfs_open、fcfs_read等等，函数原
FastCFS之连接管理

昨天刚发布了FastCFS V1.3.0（注：转发FastCFS微信公众号以前的文章，FastCFS目前版本为V2.3.0），修复了4个稳定性相关bug，重构了客户端连接管理，实现了更优雅的failover机制，以及更高的读写性能，欢迎大家测试和使用。今天着重向大家介绍FastCFS的连接管理机制。 FastCFS一开始就使用libfastcommon提供的连接池来管理连接。
可以跑数据库的分布式文件系统FastCFS简介

FastCFS 是一款基于块存储的通用分布式文件系统，可以作为MySQL、PostgresSQL、Oracle等数据库和私有云的后端存储。已经有了比较受欢迎的FastDFS，为啥还要研发FastCFS呢？FastDFS是轻量级的对象存储，只能通过专有API访问，为互联网应用量身定制，适合存放图片、视频、文档等等；而FastCFS是通用的分布式文件系统，可以mount到本机通过标准文
FastCFS同步复制机制简介

上一篇文章介绍了FastCFS采用数据分组的做法，一个数据分组的几个节点（如三个节点即三副本）之间是Master/Slave关系；FastCFS采用数据强一致模型，通过Master/Slave结构的同步复制机制来保证数据一致性，本文将概要介绍这一机制的原理和关键点。和单机系统相比，分布式系统因网络通信方面存在较大不确定性，要做到数据强一致的挑战非常大。业界分布式系统主流做法是采
FastCFS简洁高效的访问权限控制

3月份启动FastCFS V2.0研发工作，耗时近2个月时间推出了V2.0。为了更好地对接虚拟机和K8s，V2.0主要实现了存储池和访问权限控制，并支持配额。 V2.0支持的核心功能就是用户和权限体系。对于应用系统来说，权限管理是基本功能，实现起来根本就不是事儿。对于基础软件来说，为了保证高性能且不依赖第三方组件，挑战大了不少，其实现方案需要精心设计，实现细节需要仔细推敲。
FastCFS V3.0发布，支持百亿级海量文件

经过整整5个月的潜心研发，FastCFS v3.0终于发布了。FastCFS 3.0 主要改进：核心组件FastDIR通过插件方式实现数据存储引擎，采用binlog + 存储引擎插件，按需加载inode数据，单机以有限内存（如64GB）支持100亿级的海量文件。通过binlog实现的数据持久化比较简单，程序重启时通过binlog重放将inode数据全部加载到内存中，这种方式存储海
FastCFS亿级小文件存储案例分享

近期一家金融企业使用FastCFS存储CVS格式的账单数据，文件不大，但数量较多，目前文件数超过一亿，还在持续增长中。。。因文件数较多，该用户开启了FastDIR的存储引擎插件，实现秒级重启并且显著降低内存占用。经过5个月的潜心研发，我们在2021年底发布了FastCFS V3.0：核心组件FastDIR通过插件方式实现数据存储引擎，采用binlog + 存储引擎插件方式，按需加
FastCFS V2.2.0发布，性能全面超越Ceph！

历经大约一个月的研发，FastCFS V2.2.0 发布，主要改进如下： 1. [fstore] 使用libaio实现异步读，随机读性能提升明显； 2. [fstore] 支持预读机制，顺序读性能提升显著； 3. 修复了3个bug： 1）[fstore] 修复V2.1.0引入的bug：第一次运行时，一个关键bool变量没有正确赋值； 2）[fu

FastCFS

支持的操作系统

依赖

安装

libfastcommon

libserverframe

fastDIR

faststore

libfuse

FastCFS

配置

同类工具

相关阅读

相关文章

相关问答

相关文档