DPFS

TB 级分布式持久性内存文件系统
授权协议 MulanPSL-2.0
开发语言 C/C++
所属分类 服务器软件、 分布式应用/网格
软件类型 开源软件
地区 国产
投 递 者 王声
操作系统 Linux
开源组织
适用人群 未知
 软件概览

“TB 级分布式持久性内存文件系统[简称:DPFS]V1.0”是一套面向大数据典型应用场景、支持可扩展网络服务的计算机系统软件,系统遵循 POSIX 语义规范,实现带宽线性可扩,系统故障可恢复,具备高吞吐低延迟等特性,能够有效支持高带宽视频播放服务中海量小文件的存取处理需求和读偏斜的高性能业务流。

 

图1 DPFS多节点分散式PM架构

DPFS节点分散式PM架构,其专为配备了持久内存和RDMA网络的集群而设计,使用户在高性能设备下体验高效文件服务:

  • 通过将文件数据放在应用程序端的持久内存中,充分利用数据的局部性,以提高整体性能并减轻网络流量负载,DPFS针对不同的通信场景,充分利用单边和双边RDMA原语实现高效可扩展性。
  • DPFS设计了RDMA请求批处理和RPC分类模式,在文件传输期间实现高吞吐量。将RPC请求分为同步和异步类型,降低网络开销。
  • 实现低开销文件传输,利用文件日志来实现差异文件更新以同步陈旧文件。在文件更新和节点恢复期间,本地文件通过单侧RDMA读取以差分方式同步到远程节点的最新版本上,从而显著提升文件传输效率。
  • 构建轻量级一致性机制,没有中央元数据服务器来仲裁并发文件更新,使用锁的方式来授权文件写入权限,通过RDMA使用Compare-And-Swap(CAS)操作来交换token,从而最大程度地减少相关开销。
  • DPFS系统使用方法

DPFS使用环境包含但不限于以下环境(注:该配置为推荐配置):

硬件 参数
CPU Intel Xeon 6240M
DRAM 256GB DRAM
持久内存(PM)                    128GB Intel Optane DIMM                     
RDMA网卡 Mellanox 5
操作系统 CentOS Linux release 7.9.2009
内核版本 Linux 4.13.0+

安装流程见用户操作文档链接:https://gitee.com/ShanghaiChina/dpfs/blob/master/README.md

下图为系统挂载及部分简单操作:

图2 系统挂载及操作

  • 系统性能介绍

DPFS分布式文件系统的8 节点读,写带宽可达到 80GB/s,64GB/s,其元数据吞吐率达到 100 万 IOPS,高效承载高清视频网络电视服务应用。(注:该性能为环境配置表格对应软硬件配置所得系统性能)。

图3 DPFS读性能

图4 DPFS写性能

 相关资料
  • 一、介绍 HDFS (Hadoop Distributed File System)是 Hadoop 下的分布式文件系统,具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。 二、HDFS 设计原理 2.1 HDFS 架构 HDFS 遵循主/从架构,由单个 NameNode(NN) 和多个 DataNode(DN) 组成: NameNode : 负责执行有关 文件系统命名空间 的操作,例如打开,

  • null 假设我有100张唱片。缓存只能保存40条记录(最常用)和100条记录在磁盘文件(不在任何其他数据库中)。 所以,如果从这100条记录中请求任何东西,我就不必去实际的数据库(例如Sybase db)? 如果在100条记录中找到了密钥,但它不存在于内存缓存中(40条记录),则获取该密钥,放入内存缓存中,并使用驱逐策略将其他密钥交换到磁盘文件中(但在磁盘上,我总是有100条记录) 如果缓存和磁

  • 数据存储容量的问题。 数据读写速度的问题。 数据可靠性的问题。 几种常见 RAID 的对比|名称|优点|缺点| |------|------|------| |RAID 0|使用 N 块磁盘的 RAID 0,将数据从内存写入磁盘时,将数据分成 N 块,并发写入,读取同理。所以,读写速度是单盘的 N 倍。|任何一块盘损坏,数据完整性破坏,数据不可用。| |RAID 1|数据写入磁盘时,将一份数据同时

  • Gradle如何在本地文件系统上存储下载的jar文件?Maven将它们存储在下的目录中,但Gradle将它们存储在哪里?我检查了那里的文件夹,但只看到编译过的脚本。

  • 我正在使用Hazelcast进行集群数据分发。我阅读了有关使用MapStore和MapLoader接口的数据持久性的文档。我需要实现这些接口,并在hazelcast中编写类名。xml文件。 有没有使用hazelcast实现这些文件持久性接口的示例?有人知道我可以下载和使用的任何源代码或jar文件吗? 谢谢

  • Hadoop分布式文件系统(HDFS)的设计主旨,在于对超大规模数据集提供可靠的存储功能,并对用户应用程序提供高带宽的输入输出数据流。在大型的集群里,上千台服务器均可直接参与到数据存储和应用程序任务执行。通过多服务器,分布式的存储和计算,计算资源的规模能够按照需要增长,并兼顾在各种规模上经济适用性。 本文主要描述了HDFS的架构,并以Yahoo!企业数据服务为例,介绍了如何使用HDFS系统管理高达

  • 在和when 我能够确认堆是100%。 使用Artemis版本2.13.0。VM是一个2核Linux机器,有7 GB内存。我已经禁用了持久性。另一个观察是,当我使用top命令时,RES大小正在逐渐增大。 客户端配置:(使用camel和activeMq JMS组件) 我无法获取heapdump,但生成了一个hs_err_pid文件。 无法获取堆转储,因为代理实例在日志中记录以下消息后挂起 代理中的持

  • 问题内容: 作为PhantomJS的新用户,我想确保自己了解PhantomJS如何处理HTTP请求中累积的数据持久性。 我的问题是: 默认情况下,PhantomJS是否持久存储任何数据 (即,一个简单的示例,您没有在脚本中的任何地方使用该请求来存储请求,而是将其转储到)。我假设来自调用的所有工作都在内存中完成。 这是一个简单的示例: 该脚本将由调用。 我知道您可以将页面保存到文件中,我只想确保我知