分布式文件服务器 FastDFS

最近做项目遇到了一个上传文件的功能,这个功能自己不知道怎么解决,想到了自己以前曾学习过FastDFS,虽然现在的项目并不是用的FastDFS,但是不管怎么说复习一下还是有很好的借鉴作用的(后来才知道我们项目文件上传与下载交给前端管理的,因为需要存储的文件并不多,不需要使用单独的文件存储服务器,而后端只需要保存存储路径即可)。

FastDFS的介绍

FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
FastDFS 架构包括 Tracker server(跟踪器服务) 和 Storage server(存储节点服务)。客户端请求 Tracker server 进行文件上传、下载,通过 Tracker server 调度最终由 Storage server 完成文件上传和下载。Tracker server 作用是负载均衡和调度,通过 Tracker server 在文件上传时可以根据一些策略找到 Storage server 提供文件上传服务。Storage server 作用是文件存储,客户端上传的文件最终存储在Storage 服务器上,Storageserver 没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。

FastDFS架构图

在这里插入图片描述
Tracker:管理集群,tracker 也可以实现集群。每个 tracker 节点地位平等,没有主从概念。收集 Storage集群的状态(storage集群server都会定时的向Tracker报告自己的健康状态和存储容量的信息)。
Storage:实际保存文件 Storage 分为多个组(即上图的一个卷就是一组),每个组之间保存的文件是不同的。每个组内部可以有多个成员,组成员内部保存的内容是一样的(从图中可以看到是同步线程调用的,但数据的同步也并不是实时的,总会有延迟的),组成员的地位是一致的,也没有主从的概念。

文件的上传流程

在这里插入图片描述
客户端上传文件后存储服务器将文件 ID 返回给客户端,此文件 ID 用于以后访问该文件的索引信息。文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名。
组名:文件上传后所在的 storage 组名称,在文件上传成功后有 storage 服务器返回,需要客户端自行保存。
虚拟磁盘路径:storage 配置的虚拟路径,与磁盘选项 store_path*对应。如果配置了store_path0 则是 M00,如果配置了 store_path1 则是 M01,以此类推。
数据两级目录:storage 服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。
文件名:与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储服务器 IP 地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。
例如文件id: group1/M00/01/02/wKgZhVw3Vm6AXHA6AAVrVQWPZHw087.jpg
其中数据两级目录每一级目录都是从00-FF结束,可以想象一下目录结构还是挺多的,因此能保存很多的文件,而且两层目录文件的读取速度也很快。
实际查看服务器中的某个图片存储路径是: /home/fastdfs/store_path0/data/00/00/wKgZhVw7JbuAOIGvAAGD6NU_dsM773.jpg

文件的下载流程图

在这里插入图片描述

FastDFS的安装

FastDFS的安装的流程还是比较复杂的,这里就不多说了,我把这些教程放在我的百度网盘中,有需要的请自行下载;
百度网盘地址:链接:https://pan.baidu.com/s/16-iJgDY_Mlett_LfWB7DHw 提取码:om5l
其中包括已经安装好的镜像文件,打开后就能直接使用。

FastDFS入门案例

需求:将本地图片上传至图片服务器,在控制台打印 url

(1)创建 Maven 工程 fastDFSdemo
由于 FastDFS 客户端 jar 包并没有在中央仓库中,所以需要使用下列命令手动安装 jar 包到Maven 本地仓库(将 jar 包放到 d 盘 setup 目录)(另外这个jar我也放在百度网盘里了)
Maven安装命令:
mvn install:install-file -DgroupId=org.csource.fastdfs -DartifactId=fastdfs -Dversion=1.2
-Dpackaging=jar -Dfile=d:\setup\fastdfs_client_v1.20.jar

pom.xml 中主要引入以下的依赖引入

<dependencies>
    <dependency>
        <groupId>org.csource.fastdfs</groupId>
        <artifactId>fastdfs</artifactId>
        <version>1.2</version>
    </dependency>
</dependencies>```

配置文件 fdfs_client.conf 的配置内容:
因为配置文件还是比较长的,我也放在了网盘里了,如果使用镜像就不需要修改了,如果自己安装的需要自己设置tracker_server为自己安装的IP地址。

FastDFSDemo 代码:

    package com.study;
    import org.csource.fastdfs.*;
    public class FastDFSDemo {
        public static void main(String[] args) {
            try {
                // 1、加载配置文件,配置文件中的内容就是 tracker 服务的地址。根据自己的配置文件位置更改
                ClientGlobal.init("D:\\Config\\fdfs_client.conf");
                // 2、创建一个 TrackerClient 对象。直接 new 一个。
                TrackerClient trackerClient = new TrackerClient();
                // 3、使用 TrackerClient 对象创建连接,获得一个 TrackerServer 对象。
                TrackerServer trackerServer = trackerClient.getConnection();
                // 4、创建一个 StorageServer 的引用,值为 null
                StorageServer storageServer = null;
                // 5、创建一个 StorageClient 对象,需要两个参数 TrackerServer 对象、StorageServer的引用
                StorageClient storageClient = new StorageClient(trackerServer, storageServer);
                // 6、使用 StorageClient 对象上传图片。
                //扩展名不带“.”,根据自己的本地图片路径修改
                String[] strings = storageClient.upload_file("D:\\pic\\1.jpg", "jpg", null);
                // 7、返回数组。包含组名和图片的路径。
                for (String string : strings) {
                    System.out.println(string);
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

运行结果:
group1
M00/00/00/wKgZhVzcIZuAFLASAAFM-oveios184.jpg


总结

使用FastDFS存储文件还是很方便的,最主要的是提高了操作文件的效率,
虽然数据库也可以直接存储文件格式的数据,但是会影响性能,
特别是一些数据量比较大、比较多的文件就不可能直接存入数据库。
另外如果存储在我们的项目所在的服务器也会影响性能,
所以对于存储文件最好使用专用的文件存储服务器。








猜你喜欢

转载自blog.csdn.net/keyto1/article/details/90217248