Goofys 是使用 Go 编写,基于 S3 接口的 Filey 系统。
Goofys 允许你挂载一个 s3 bucket 作为一个 Filey 系统。为什么是 Filey 系统而不是 File 系统?因为 goofys 优先考虑性能而不是 POSIX。
使用:
$ go get github.com/kahing/goofys $ go install github.com/kahing/goofys $ cat > ~/.aws/credentials [default] aws_access_key_id = AKID1234567890 aws_secret_access_key = MY-SECRET-KEY $ $GOPATH/bin/goofys <bucket> <mountpoint>
基准测试:
使用 goofys --stat-cache-ttl 0 --type-cache-ttl 0
和 s3fs -ostat_cache_expire=1
模拟运行。基准测试详情请看 bench.sh,同时提供 Raw data。测试是在 EC2 c4.xlarge 下运行的:
operation | goofys | s3fs | speedup |
---|---|---|---|
Create 1000 files | 49.4 +/- 1.5s | 146.0 +/- 15.0s | 2.96 +/- 0.32x |
Unlink 1000 files | 28.1 +/- 0.8s | 36.7 +/- 6.2s | 1.31 +/- 0.22x |
ls with 1000 files | 0.21 +/- 0.04s | 3.5 +/- 0.6s | 16.9 +/- 4.6x |
Create 1000 files (parallel) | 21.5 +/- 0.4s | 134.2 +/- 9.1s | 6.2 +/- 0.4x |
Unlink 1000 files (parallel) | 28.18 +/- 0.35s | 38.1 +/- 4.2s | 1.35 +/- 0.15x |
Write 1GB | 51.4 +/- 4.3MB/s | 29.7 +/- 2.9MB/s | 1.73 +/- 0.22x |
Read 1GB | 58.9 +/- 4.7MB/s | 65.7 +/- 18.9MB/s | 0.90 +/- 0.27x |
Time to 1st byte | 0.0169 +/- 0.0023s | 0.98 +/- 0.06s | 58.3 +/- 8.7x |
Linux 挂载goofys记录 1、下个SecureCRT,(点击下载 提取码:chia) 以ssh2登录,如果登不上,大概率是端口没放行之类。 2、挂载SSD盘 (我选MBR分区),机器盘(超过2T,用GPT分区)详细参考移动云挂载帮助 fdisk 如果没有,可以用yum install fdisk 命令来安装。 备注: (1)其中在第四步,用户进行分区配置,直接回车默认开始、结束(只创建一个
s3fs xqb-20171211 /opt/s3point -o passwd_file=./passwd -o url=http://162.3.111.182:9000/ -o use_path_request_style -o nonempty -o use_cache=/opt/s3fscache 挂载的方式,/opt/s3fscache作为缓存目录,/opt/s3point作为本地挂
目前一些开源项目支持把s3接口挂在成fuse文件系统,最早的是s3fs,目前有两个项目,一个是c++写的,一个是python实现的,目前用的比较多的是python实现的,另外还有riofs和goofys,目前对比测试了三种挂载方式,整体来说goofys性能最好 当然ceph目前也有个把radosgw通过nfs协议挂载的方式,但是目前还不成熟 1. 如何挂载 /home/ceph/goofys/bi
挂载后,在桶的根目录执行命令行 echo "11111" > /mnt/s3/123456.txt fuse库(file_system.go)::ServeOps 循环等待IO操作 fuse库(file_system.go)::ReadO(得到对应的fuse操作) fuse库(file_system.go)::handleOp (协程处理) use库(file_system.go)::Create
wget https://github.com/kahing/goofys/releases/latest/download/goofys chmod +x goofys mkdir /opt/goofys mkdir ~/.aws vi ~/.aws/credentials [default] aws_access_key_id = oeosadmin aws_secret_access_key
原文链接:Serverless 应用开发指南:API Gateway + S3 + AWS Lambda 打造 CRUD 在前两篇文章《Serverless 应用开发指南: serverless 的 hello, world》和 《Serverless 开发指南:AWS IoT 服务开发》 里,我们简单地介绍了如何用 Serverless 和 AWS IoT 开发入门级的 Serverless 应
我的一个模块项目中有一个考勤系统,使用PHP和MySQL,MySQL表如下所示: 现在,时间表被用来存储一天中某一段的类时间表,以及分配给哪位老师。student_info表包含有关学生及其所属部分的一般信息。attendancetable用于记录缺勤人员,使用时间和学生id作为主键。 我可以得到一个学期有多少类被录取的统计如下: 然后计算一个学生参加的次数,也计算出勤率。 现在,我还想显示一种考
jfinal是由jfinal2.2+freemarker+easyui写的一个后台管理系统,参考了jty等一些优秀的开源项目,实现了一个基础的后台管理系统。 在线访问:http://moriiy.wicp.net/jfinal/ 有时可能无法访问(毕竟是部署在自己电脑上的),尽量白天访问,进入系统尽量不要做修改或删除操作。 帐号:admin 密码:123456 测试 test 密码123456
概述 本章节介绍如何从一个系统的数据库设计模型出发,一步步设计一个系统。 在软件项目(尤其是外包软件项目)中,通常有两种情况: 客户提供软件需求书; 客户提供原型设计; 对于以上两种情况的项目,在开发的流程上是有很大的差别的,最大的差别就在于页面交互上。 客户提供软件需求书:页面数量及形态不确定,带来的复杂性也不确定;(所以,为了固化需求,通常会跟客户做出原型或者UI进行需求确认,跟客户的合同也会
本文向大家介绍基于windowx的Hyper-v安装CentOS系统,包括了基于windowx的Hyper-v安装CentOS系统的使用技巧和注意事项,需要的朋友参考一下 目前来说,对于大部分人使用linux,要么是使用云服务器,要么是在windows上安装虚拟机,直接再物理硬件上安装Linux的应该比较少。以前windows使用虚拟机的话,一般是安装Vmware或者VirtualBox。如今Wi
本文向大家介绍基于文件的数据管理系统,包括了基于文件的数据管理系统的使用技巧和注意事项,需要的朋友参考一下 用于组织和维护数据文件的系统称为基于文件的数据系统。这些文件系统用于处理单个或多个文件,效率不高。 功能性 基于文件的数据管理系统的功能如下- 基于文件的系统有助于任何用户的基本数据管理。 基于文件的系统中存储的数据应保持一致。在基于文件的系统中完成的任何事务都不应更改一致性属性。 基于