【 FastDFS 】—— 简介与安装

其他 2019-03-12 03:18:52 阅读次数: 0

1、什么是分布式文件系统

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。

通俗来讲：

  • 传统文件系统管理的文件就存储在本机。
  • 分布式文件系统管理的文件存储在很多机器，这些机器通过网络连接，要被统一管理。无论是上传或者访问文件，都需要通过管理中心来访问

2、什么是FastDFS

FastDFS 是由淘宝的余庆先生所开发的一个轻量级、高性能的开源分布式文件系统。用纯C语言开发，功能丰富：

  • 文件存储
  • 文件同步
  • 文件访问（上传、下载）
  • 存取负载均衡
  • 在线扩容

适合有大容量存储需求的应用或系统。同类的分布式文件系统有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）等。

3、FastDFS的架构

架构图

先上图：

在这里插入图片描述

FastDFS 两个主要的角色：Tracker Server 和 Storage Server 。

  • Tracker Server：跟踪服务器，主要负责调度storage节点与client通信，在访问上起负载均衡的作用，和记录storage节点的运行状态，是连接client和storage节点的枢纽。
  • Storage Server：存储服务器，保存文件和文件的meta data（元数据），每个storage server会启动一个单独的线程主动向Tracker cluster中每个tracker server报告其状态信息，包括磁盘使用情况，文件同步情况及文件上传下载次数统计等信息
  • Group：文件组，多台Storage Server的集群。上传一个文件到同组内的一台机器上后，FastDFS会将该文件即时同步到同组内的其它所有机器上，起到备份的作用。不同组的服务器，保存的数据不同，而且相互独立，不进行通信。
  • Tracker Cluster：跟踪服务器的集群，有一组Tracker Server（跟踪服务器）组成。
  • Storage Cluster ：存储集群，有多个Group组成。

上传和下载流程

上传

在这里插入图片描述

  1. Client通过Tracker server查找可用的Storage server。
  2. Tracker server向Client返回一台可用的Storage server的IP地址和端口号。
  3. Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并进行文件上传。
  4. 上传完成，Storage server返回Client一个文件ID，文件上传结束。

下载

在这里插入图片描述

  1. Client通过Tracker server查找要下载文件所在的的Storage server。
  2. Tracker server向Client返回包含指定文件的某个Storage server的IP地址和端口号。
  3. Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并指定要下载文件。
  4. 下载文件成功。

4、安装和使用 —— Centos下安装 FastDFS

4.1 上传

将课前资料中的文件上传到 linux 下的/home/yang/fdfs目录:

cd /home/yang/
mkdir fdfs

安装包下载地址：
链接：https://pan.baidu.com/s/1SJpSxJmFcLUtPJftELBwaQ
提取码：als3
复制这段内容后打开百度网盘手机App，操作更方便哦
在这里插入图片描述

4.2 安装依赖

FastDFS运行需要一些依赖，在课前资料提供的虚拟中已经安装好了这些依赖，如果大家想要从头学习，可以按下面方式安装：

安装GCC依赖

GCC用来对C语言代码进行编译运行，使用yum命令安装：

sudo yum -y install gcc

安装unzip工具

unzip工具可以帮我们对压缩包进行解压

sudo yum install -y unzip zip

安装libevent

sudo yum -y install libevent

安装Nginx所需依赖

sudo yum -y install pcre pcre-devel zlib zlib-devel openssl openssl-devel

安装libfastcommon-master

这个没有yum包，只能通过编译安装：

  • 解压刚刚上传的libfastcommon-master.zip

    sudo unzip libfastcommon-master.zip

  • 进入解压完成的目录：

    cd libfastcommon-master

  • 编译并且安装：

    sudo ./make.sh 
sudo ./make.sh install

到这里为止，所有依赖都已经安装完毕，接下来我们安装FastDFS：

4.3 安装 FastDFS

编译安装

这里我们也采用编译安装，步骤与刚才的编译安装方式一样：

  • 解压

    sudo tar -xvf FastDFS_v5.08.tar.gz

  • 进入目录

    cd FastDFS

  • 编译并安装

    sudo ./make.sh 
sudo ./make.sh install

  • 校验安装结果

1）安装完成，我们应该能在/etc/init.d/目录，通过命令ll /etc/init.d/ | grep fdfs看到FastDFS提供的启动脚本：

在这里插入图片描述

其中：

  • fdfs_trackerd 是tracker启动脚本
  • fdfs_storaged 是storage启动脚本

2）我们可以在 /etc/fdfs目录，通过查看到以下配置文件模板：
在这里插入图片描述

其中：

  • tarcker.conf.sample 是tracker的配置文件模板
  • storage.conf.sample 是storage的配置文件模板
  • client.conf.sample 是客户端的配置文件模板

启动 tracker

FastDFS的tracker和storage在刚刚的安装过程中，都已经被安装了，因此我们安装这两种角色的方式是一样的。不同的是，两种需要不同的配置文件。

我们要启动tracker，就修改刚刚看到的tarcker.conf，并且启动fdfs_trackerd脚本即可。

  • 编辑tracker配置

首先我们将模板文件进行赋值和重命名：

sudo mv tracker.conf.sample tracker.conf
sudo vim tracker.conf

打开tracker.conf，修改base_path配置：

base_path=/leyou/fdfs/tracker # tracker的数据和日志存放目录
  • 创建目录

刚刚配置的目录可能不存在，我们创建出来

sudo mkdir -p /leyou/fdfs/tracker

  • 启动tracker

    我们可以使用 sh /etc/init.d/fdfs_trackerd 启动，不过安装过程中，fdfs已经被设置为系统服务，我们可以采用熟悉的服务启动方式：

sudo service fdfs_trackerd start # 启动fdfs_trackerd服务，停止用stop

另外，我们可以通过以下命令，设置tracker开机启动：

sudo chkconfig fdfs_trackerd on

启动 storage

我们要启动tracker，就修改刚刚看到的tarcker.conf，并且启动fdfs_trackerd脚本即可。

  • 编辑storage配置

首先我们将模板文件进行赋值和重命名：

sudo mv storage.conf.sample storage.conf
sudo vim storage.conf

打开storage.conf，修改base_path配置：

base_path=/leyou/fdfs/storage # storage的数据和日志存放目录
store_path0=/leyou/fdfs/storage # storage的上传文件存放路径
tracker_server=127.78.134.111:22122 # tracker的地址
  • 创建目录

刚刚配置的目录可能不存在，我们创建出来

sudo mkdir -p /leyou/fdfs/storage

  • 启动storage

    我们可以使用 sh /etc/init.d/fdfs_storaged 启动，同样我们可以用服务启动方式：

sudo service fdfs_storaged start  # 启动fdfs_storaged服务，停止用stop

另外，我们可以通过以下命令，设置tracker开机启动：

sudo chkconfig fdfs_storaged on

最后，通过ps -ef | grep fdfs 查看进程：

在这里插入图片描述

4.4 测试图片上传

修改 client.conf

sudo mv client.conf.sample client.conf
sudo vim client.conf

修改：

base_path=/tmp
tracker_server=120.78.134.111:22122

上传一张图片 1.png 到 /tmp 下面

运行：

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /tmp/1.png

成功后返回图片的id：

[yang@izwz9bge0ivbgoesxak65wz fdfs]$ /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /tmp/1.png 
group1/M00/00/00/fwAAAVyFHfKAA_feAABBD0w8uG4836.png
[yang@izwz9bge0ivbgoesxak65wz fdfs]$
  • group1：组信息
  • M00：对应的 store_path0，地址为：/leyou/fdfs/storage
  • /00/00：磁盘路径

文件上传的真正地址：/leyou/fdfs/storage/data/00/00
在这里插入图片描述

通过下面的路径访问不到图片：
在这里插入图片描述

故，通过 nginx 代理

4.5 安装 Nginx 及 FastDFS 模块

FastDFS 的 Nginx 模块

  • 解压

    tar -xvf fastdfs-nginx-module_v1.16.tar.gz

    ​

  • 配置config文件

    # 进入配置目录
cd /home/yang/fdfs/fastdfs-nginx-module/src/
# 修改配置
vim config
# 执行下面命令（将配置中的/usr/local改为/usr）：
:%s+/usr/local/+/usr/+g

    ​

  • 配置mod_fastdfs.conf

    # 将src目录下的mod_fastdfs.conf复制到 /etc/fdfs目录：
sudo cp mod_fastdfs.conf /etc/fdfs/
# 编辑该文件
sudo vim /etc/fdfs/mod_fastdfs.conf

  • 修改一下配置：

    connect_timeout=10                  		# 客户端访问文件连接超时时长（单位：秒）
tracker_server=120.78.134.111:22122  	# tracker服务IP和端口
url_have_group_name=true            		# 访问链接前缀加上组名
store_path0=/yang/fdfs/storage        		# 文件存储路径

  • 复制 FastDFS的部分配置文件到/etc/fdfs目录

    cd /home/yang/fdfs/FastDFS/conf/
sudo cp http.conf mime.types /etc/fdfs/

    ​

安装Nginx

  • 解压

    tar -xvf nginx-1.10.0.tar.gz

    ​

  • 配置
    进入 nginx 目录：

    cd nginx-1.10.0

    sudo ./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/home/yang/fdfs/fastdfs-nginx-module/src

    ​

  • 编译安装

    sudo make && sudo make install

如果已经安装过 nginx 了，进入解压好的包 cd nginx-1.10.0 ，sudo ./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/home/yang/fdfs/fastdfs-nginx-module/src，编译（不要安装） sudo make ，备份之前的nginx，mv /usr/bin/nginx /usr/bin/nginx-bok ，用刚刚编译的 nginx 替换掉之前安装的 nginx，cp /home/yang/nginx-1.10.0/objs/nginx /usr/bin

  • 配置 nginx 整合 fastdfs-module 模块

    我们需要修改 nginx 配置文件，在/opt/nginx/config/nginx.conf文件中：

    sudo vim  /opt/nginx/conf/nginx.conf

    将文件中，原来的server 80{ ...} 部分代码替换为如下代码：

        server {
        listen       80;
        server_name  image.taotao.com;

    	# 监听域名中带有group的，交给FastDFS模块处理
        location ~/group([0-9])/ {
            ngx_fastdfs_module;
        }

        location / {
            root   html;
            index  index.html index.htm;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
        
    }

  • 启动

    nginx # 启动
nginx -s stop # 停止
nginx -s reload # 重新加载配置

启动nginx时看到下面的，说明成功

ngx_http_fastdfs_set pid=2227

此时，浏览器输入：http://image.leyou.com/group1/M00/00/00/fwAAAVyFHfKAA_feAABBD0w8uG4836.png ，可以看到图片

  • 设置nginx开机启动

    创建一个开机启动的脚本：

    vim /etc/init.d/nginx

    添加以下内容：

    #!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:  NGINX is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid

# Source function library.
. /etc/rc.d/init.d/functions

# Source networking configuration.
. /etc/sysconfig/network

# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0

nginx="/usr/bin/nginx"
prog=$(basename $nginx)

NGINX_CONF_FILE="/opt/nginx/conf/nginx.conf"

[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx

lockfile=/var/lock/subsys/nginx

make_dirs() {
   # make required directories
   user=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   if [ -n "$user" ]; then
      if [ -z "`grep $user /etc/passwd`" ]; then
         useradd -M -s /bin/nologin $user
      fi
      options=`$nginx -V 2>&1 | grep 'configure arguments:'`
      for opt in $options; do
          if [ `echo $opt | grep '.*-temp-path'` ]; then
              value=`echo $opt | cut -d "=" -f 2`
              if [ ! -d "$value" ]; then
                  # echo "creating" $value
                  mkdir -p $value && chown -R $user $value
              fi
          fi
       done
    fi
}

start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}

stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}

restart() {
    configtest || return $?
    stop
    sleep 1
    start
}

reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}

force_reload() {
    restart
}

configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}

rh_status() {
    status $prog
}

rh_status_q() {
    rh_status >/dev/null 2>&1
}

case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

  • 修改文件权限，并加入服务列表

    # 修改权限
chmod 777 /etc/init.d/nginx 
# 添加到服务列表
chkconfig --add /etc/init.d/nginx

  • 设置开机启动

    chkconfig nginx on

    ​

猜你喜欢

转载自blog.csdn.net/weixin_42112635/article/details/88383019
今日推荐
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
周排行
让自己的头脑极度开放
CentOS 6.5(x64) 和Redhat6.5操作系误删libc
高可用注册中心
【日记】12.28/【题解】AtCoder AGC041
XML（5）_XML 约束_DTD
Java集合Map（四）
树梅派安装桌面环境教程
pipenv 的 使用和安装
小程序白屏问题和内存研究
C语言简单选择排序
每日归档
更多
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022