当前位置: 首页 > 工具软件 > FastCFS > 使用案例 >

FastCFS在eRDMA与传统网络环境下对比测试分享

丌官信厚
2023-12-01

FastCFS 是一款强一致性、高性能、高可用、支持百亿级海量文件的通用分布式文件系统,可以作为MySQL、PostgresSQL、Oracle等数据库,k8s,KVM,FTP,SMB和NFS等系统的后端存储。

数据库作为IO密集型软件,对磁盘IO和网络IO性能要求比较高。把数据库跑在分布式文件系统上,必然会碰到网络IO这个性能瓶颈。使用RDMA是消除网络IO瓶颈的有效方法,但使用原生libverbs进行RDMA网络编程,需要对使用socket的网络应用程序做大量改造和适配工作,门槛非常高。

SMC-R(Shared Memory Communication over RDMA)是一种基于 RDMA 技术、兼容 socket 接口的内核网络协议,由 IBM 提出并在2017年捐献给Linux内核。SMC-R可以帮助TCP网络应用程序透明使用RDMA,在网络通信上获得高带宽和低时延。

2021年10月20日的杭州云栖大会上,阿里云发布第四代神龙架构。第四代神龙架构的网络延迟降低80%,同时升级至全新的eRDMA网络架构,是业界首个大规模弹性RDMA加速能力。对于性能如此强悍的RDMA网络,我一直期待有机会体验一下。

我最近终于幸运地获得了第四代神龙架构ECS的公测资格,租用了4台最新的ecs.c8y.4xlarge实例(3副本服务器+1台客户端)通过fio测试FastCFS的读性能,对是否启用弹性RDMA进行性能对比测试:bs=4KB和8并发情况下,随机读IOPS 111,572 vs. 85,693,提升30%;顺序读IOPS 182,861 vs. 145,752,提升25%。注:为了对比测试网络性能,FastCFS服务端和客户端全部使用内存文件系统 /dev/shm。

只有一组3副本服务器的情况下,FastCFS 8并发随机读超过11万IOPS,达到了生产环境数据库的磁盘IO性能要求。在配备NVMe SSD及RDMA网络的情况下,FastCFS完全可以做到低延迟和高吞吐,满足高性能场景下的文件读写性能要求。

启用主网卡的弹性RDMA特性,碰到了一个坑,给大家分享一下。租用ECS的第2步“网络和安全组”, 如果第一次租用当前可用区的ECS(比如华北2的可用区I),上方的网络交换机部分只能选择默认,此时下方的主网卡没有“弹性RDMA接口”这个选项,这种情况下租用的ECS将没有RDMA设备。解决方法:先租用一台第四代神龙架构ECS,阿里云后台会自动创建该可用区的交换机,随即释放这个ECS实例;再次租用时默认就是该区的交换机,此时主网卡设置界面就有“弹性RDMA接口”选项了。

本次测试的相关配置和文档附录:

附1. ecs.c8y.4xlarge配置:16 vCPU(Yitian 710)、32G内存、 最高16Gbps网络带宽

附2. FastCFS运维工具介绍:FastCFS运维工具介绍

附3. 阿里云SMC-R说明:SMC-R是什么,使用方法有哪些_云服务器 ECS-阿里云帮助中心

 类似资料: