分布式文件系统(3)



分布式存储:


分布式文件系统的历史。

http://blog.chinaunix.net/uid-29759225-id-4489272.html

把分布式文件系统的历史划分为4个阶段。 对每个阶段的优缺点总结不够透彻,历史的脉搏也不够清晰,但这很难吧。


使用 FUSE 开发自己的文件系统

http://www.ibm.com/developerworks/cn/linux/l-fuse/

FUSE使得文件系统开发的门槛大幅降低。


SNIA云存储标准

http://blog.chinaunix.net/uid-20196318-id-3470470.html

美国网络存储行业协会(SNIA)2010年发布的云存储标准。

有几家支持呢?


面对海量文件,比较各种分布式文件系统

http://support.huawei.com/ecommunity/bbs/10165189.html

一个叫沈二铺子的写的自己挑选分布式文件系统的过程。比较老了2010年的。


如何规划部署网站的文件服务器?

 互联网技术热点之--分布式文件系统,Lustre路在何方

CU上两个讨论分布式文件系统的帖子。2012~2013年

这个地方是FastDFS的据点,也是DFS的据点。


各种分布式文件系统 

http://elf8848.iteye.com/blog/1724382

对各个分布式文件系统进行总结的一个帖子,信息量比较大,总结比较到位,包含的链接也很有价值。2012-11

好帖子。


1  Ceph:

《Ceph浅析》系列文章发布

http://www.infoq.com/cn/news/2014/01/ceph-overview 2014.1

原始链接是作者自己的空间,已经不能访问了。其它链接:

http://www.open-open.com/lib/view/open1416539925773.html

http://m.blog.csdn.net/blog/sun7545526/38387173

深入浅出吧,适合门外汉。


《关于Ceph现状与未来的一些思考》

http://cloud.it168.com/a2015/0505/1726/000001726061.shtml

作者是Ceph核心代码提交者。

此文比较有深度,比较适合高手吧。


Ceph论文译文--Ceph:一个可扩展,高性能分布式文件系统

http://blog.csdn.net/juvxiao/article/details/39495037

原版论文翻译


http://www.networkcomputing.com/storage/gluster-vs-ceph-open-source-storage-goes-head-to-head/a/d-id/1113581

此文对Ceph和GlusterFS做了专业的描述。老外还是比较专业啊。


总结:

Ceph是一个可扩展、高性能的分布式文件系统;

Ceph的最底层是一个对象存储系统,RADOS。Ceph的两大创新是CRUSH算法和基于动态子树分区的元数据集群。

基于这两大创新,Ceph可以做到无中心节点,数据动态平衡,很牛X。

在RADOS对象存储系统之上,提供了四种gateway(四种使用方式,展现数据的方式)。

(1) 通过librados在本地直接调用;

(2) 通过RADOSGW提供兼容S3和Swift接口的对象存储;

(3) 通过RBD提供块设备接口;

(4) 通过CephFX提供兼容posix的分布式文件系统(需要轻量级中心节点,提供类似ls、find等功能);

近年主要着力与Openstack的配合,所以上面的(4)进展缓慢,尚不能用于生产环境。

由于ceph可以支持Iaas存储相关的几乎所有功能(块存储服务模块、对象存储服务模块、镜像管理模块和计算服务模块),所以与Openstack的结合会越来越紧密。

2014-4-30, ceph的开发公司Inktank被Redhat收购。


2 GlusterFS

换个角度深入理解GlusterFS

http://blog.csdn.net/liuaigui/article/details/20941159

GlusterFS存在的问题。


http://www.networkcomputing.com/storage/gluster-vs-ceph-open-source-storage-goes-head-to-head/a/d-id/1113581

此文对Ceph和GlusterFS做了专业的描述。老外还是比较专业啊。


官网

http://www.gluster.org/community/documentation/index.php/Main_Page


总结:

按照redhat的说法,GlusterFS是可扩展的NAS和对象存储系统。GlusterFS通过一致性哈希算法在存储池中存储数据,与ceph类似。

数据会进行分片。没有中心节点,新数据可以进行负载均衡,老数据需要手动执行负载均衡。

GlusterFS可以直接mount,使用非常方便。

2011年被redhat收购。

问题:

小文件性能比较低。

元数据性能问题(目录相关操作,例如,列出目录下文件, 删除目录等)。

老数据不能自动负载均衡,手动负载均衡(Rebanlance)对系统冲击比较大。


3 FastDFS


分布式文件系统FastDFS架构剖析(余庆)

http://www.programmer.com.cn/4380/


论坛:

http://bbs.chinaunix.net/forum.php?mod=forumdisplay&fid=240&filter=typeid&typeid=424


总结:

轻量级、高可靠性、具有数据备份功能、适用于小型文件应用场景的分布式文件系统。

简单易用(以组为存储单元,组内存储互备);

扩展容易(加组就可以);

无中心节点(文件id包含存储路径);

针对小文件存储进行优化(小文件合并存储);

淘宝余庆开发。

问题:

不能mount,客户端需要通过API调用操作文件。

老数据不能均衡到新加的组内。

大文件支持不好(通常的做法是大文件进行切片,分布到不同的机器上)。


4  MooseFS


专题

http://os.51cto.com/art/201209/356431.htm


官网

https://moosefs.com/documentation.html


总结:

安装配置很方便。系统本身安装配置很方便。客户端更方便,mfsmount上之后,就跟本地文件一样了。

横向动态扩展

master没有单点问题

提供监控系统


缺点:

master性能瓶颈, 10亿文件,300G内存 (MooseFS-2-0-60-User-Manual.pdf)


5 MogileFS

总结

Memcache的开发者开发的分布式文件系统。

MogileFS的元数据保存在mysql数据库中。


缺点

元数据性能瓶颈

perl开发,只有perl客户端

文档缺乏

yupoo(又拍)、digg、豆瓣、1号店、大众点评、搜狗和安居客等,分别为所在的组织或公司管理着海量的图片
本篇文章来源于 Linux公社网站(www.linuxidc.com)  (http://www.linuxidc.com/Linux/2014-10/107519.htm






















猜你喜欢

转载自blog.csdn.net/silent1/article/details/48974769
今日推荐