分布式文件系统之Fastdfs是什么?

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接: https://blog.csdn.net/qq_41946557/article/details/102753972

Fastdfs

概念:

是一款类似Google FS的开源分布式文件系统,是纯C语言开发的。

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

FastDFS是专为互联网应用量身定做,目的是追求高性能和高拓展性。它可以看做是基于文件的key value pair存储系统,称作分布式文件存储服务更为合适。

官方论坛  http://bbs.chinaunix.net/forum-240-1.html

 

架构设计:

 

在FastDFS有三种角色,第一种是Client客户端,第二种是Tracker追踪服务器,第三种就是Storage存储服务器。其中Client客户端就是官方提供的C、Java和PHP的调用API,这里后面会讲到。而对于追踪服务器和存储服务器我们这里详细介绍一下。

关于存储服务器,是采用分组的方式,同一个组内的服务器的文件是完全相同的(利用同步线程进行同步),组和组之间是不通信的。而存储服务器会主动定期向追踪服务器报告目前的状态,追踪服务器可以有多个,多个之间是对等的,不存在主从。

关于客户端,是不需要存储有关存储服务器的任何信息的。一般用户的请求不是直接请求存储服务器,而是会请求追踪服务器。例如一个客户端需要上传文件,此时追踪服务器就会从存储服务器中找出一个组分配给客户端,供其上传文件,此时客户端拿到组的信息后,开始直接和存储服务器的这个组进行交互,无需再通过追踪服务器进行中转。

即:

Tracker Servre:追踪服务器,主要做调度工作,在访问中起负载均衡的作用。在内存中记录集群中group和storage server的状态信息,是连接Client和Storage的枢纽。因为相关信息全部在内存中,Tracker server的性能非常高,一个比较大的集群(比如上百个group)中有三台就足够了。

Storage Server:存储服务器,文件和文件属性(meta data)都保存在存储服务器上。

 

 

部署方式:

一台跟踪器 俩台存储节点

 

扩展存储服务器

 

使用方法:

上传机制:

  1. Storge定时向tracker上传状态信息
  2. Client向trackClient发送上传请求
  3. trackClient查询可用的storge
  4. trackClient返回给client信息storge的ip和端口
  5. Client根据信息向之低昂的StorgeServer上传文件
  6. StrogeServer生成file_id,将上传的内容写入到磁盘中
  7. StorgeServer向Client返回File_id(路径信息,和文件名)
  8. Client存储文件信息

 

下载机制:

1)Client 询问tracker 下载文件的storage , 参数为文件标识( 卷名和文件名 )

2)tracker 返回一台可用的storage

3)client 直接和storage 通讯完成文件下载

 

 

应用场景:

FastDFS适合的存储范围为4KB至500M之间,它更倾向于存储中小型文件,如图片网站、短视频网站、文档、app下载站等。

FastDFS的用户有支付宝、京东、赶集网、58同城、UC、51CTO和一些网盘公司,可以说目前用到FastDFS的公司特别多,因为移动互联网的兴起,一些短视频、电子书、小音频和一些app,都在十几兆或者一两百兆左右,使用FastDFS十分合适。

猜你喜欢

转载自blog.csdn.net/qq_41946557/article/details/102753972