シングルノード・インストールのFastDFS

その他 2019-12-06 15:02:06 訪問数: null

環境：centos7

1.何が分散ファイルシステムであります

分散ファイルシステム（分散ファイルシステム）は、必ずしも直接ローカルノードに接続されていない物理ストレージリソースファイルシステム管理を意味するが、ノードは、コンピュータネットワークに接続されています。

人気の条件：

  • 従来のファイルシステムの管理ファイルは、ユニット内に格納されています。
  • 分散ファイル・システム・ファイルは、一元管理すること、これらのマシンのネットワーク接続を介して、多くのマシンに保存されています。アップロードまたはアクセスファイルは、管理センターを経由してアクセスする必要があるかどうか

2.何がFastDFSです

FastDFS、高性能なオープンソース分散ファイル・システムを開発し、淘宝網氏Yuqingによって軽量です。純粋なC、豊富な機能を使用して言語の開発：

  • ファイルストレージ
  • ファイルの同期
  • ファイルアクセス（アップロードとダウンロード）
  • アクセス負荷分散
  • オンライン容量拡張

アプリケーションまたは大容量ストレージ要件に適したシステム。同様の分散ファイルシステム、GoogleのGFS、HDFS（Hadoopの）、TFS（淘宝網）など。

3.FastDFSアーキテクチャ

3.1。グラフ

マップ上のファースト：

FastDFS二つの主な役割：トラッカーサーバーとストレージ・サーバー。

  • トラッカーサーバー：サーバーを追跡し、負荷分散効果からのアクセスでは、クライアントと通信するためのスケジューリング、ストレージノード、および記録動作状態のストレージノードを担当し、クライアントとストレージノードを接続するハブです。
  • ストレージ・サーバー：ストレージ・サーバ、ファイルとファイルのメタデータ（メタデータ）を保存、各ストレージサーバは、別のスレッドが自発的にディスクの使用状況を含め、各トラッカーサーバートラッカークラスタにそのステータス情報をレポートが開始されます、ファイルの同期状況ファイルのダウンロードとアップロード統計やその他の情報
  • グループ：ファイル、複数のストレージサーバクラスタのグループ。同じグループ内のマシンにファイルをアップロードした後、FastDFSファイルは、バックアップの役割を果たし、同じグループ内の他のすべてのマシン上ですぐに利用できるようになります。サーバーの異なるグループ、格納されたデータが異なると、互いに独立しており、通信は行われません。
  • トラッカークラスタ：トラッカークラスタ、追跡サーバ（トラッキングサーバ）コンポーネントのグループがあります。
  • ストレージクラスタ：ストレージクラスタは、複数のグループからなります。

3.2。アップロードおよびダウンロードプロセス

アップロード

  1. トラッカーサーバーによって使用可能なストレージサーバーのクライアント。
  2. トラッカーサーバーは、クライアントが利用可能なストレージサーバーのIPアドレスとポート番号のテーブルを返します。
  3. クライアントトラッカーサーバーは、直接ストレージサーバが接続し、ファイルアップロードを確立するために、IPアドレスとポートによって返されました。
  4. アップロードが完了すると、ストレージ・サーバ・クライアントは、ファイルIDを返し、ファイルのアップロードが完了しています。

ダウンロード

  1. ダウンロードへのクライアントのルックアップファイルは、トラッカーサーバーでストレージサーバーを常駐します。
  2. トラッカーサーバーは、クライアントへのストレージサーバーが含まれているIPアドレスとポート番号指定したファイルを返します。
  3. 直接トラッカーサーバーを介してクライアントは、ストレージサーバが接続を確立し、ダウンロードするファイルを指定するためのIPアドレスとポートを返します。
  4. ファイルを正常にダウンロードしてください。

4.インストール単一ノードFastDFS

4.1アップロードは、必要なソフトウェアをインストールするには

4.2 gccのインストール

GCCは、インストールするには、yumのコマンドを使用して、C言語のコードをコンパイルして実行するために使用しました：

yum -y install gcc

ので、ここであなたはそれもインストール解凍するためにはyumを使用することができ、後に解凍コマンド（解凍）を使用します

yum install -y unzip zip

4.3 libeventをインストール

yum -y install libevent

libfastcommonマスター4.4インストール

# 解压刚刚上传的libfastcommon-master.zip
unzip libfastcommon-master.zip

# 进入解压完成的目录
cd libfastcommon-master

# 编译并且安装：
./make.sh 
./make.sh install

4.5インストールfastdfs

cd ..
tar -zxvf FastDFS_v5.08.tar.gz

cd FastDFS

./make.sh 

./make.sh install

インストールが成功した場合は、によって提供されたスクリプトファイルを参照してください/etc/init.d/の下に表示されます。

ll /etc/init.d/ | grep fdfs

  • fdfs_trackerd これは、起動スクリプトトラッカーです
  • fdfs_storaged ストレージの起動スクリプト

あなたは、/ etc / FDFS /ディレクトリのデフォルトの構成ファイルテンプレートを見ることができます：

ll /etc/fdfs/

  • tarcker.conf.sample トラッカーは、プロファイルテンプレートです
  • storage.conf.sample ストレージ構成ファイルテンプレート
  • client.conf.sample クライアントのプロファイルテンプレートがあります

4.6構成やトラッカーサービスを開始

FastDFSインストールされているだけで、中にインストールプロセス中トラッカーやストレージ、私たちはこれらの二つの役割をインストールする方法は同じです。違いは、両者が異なるプロファイルを必要とすることです。

私たちは、トラッカー、改正にちょうどのこぎりを開始したいtarcker.conf、と起動fdfs_trackerdスクリプトを。

1）まず、テンプレートファイルをコピーします

cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

2）修改复制后的配置文件：

vim /etc/fdfs/tracker.conf

# 修改的内容如下：

base_path=/leyou/tracker                 # 存储日志和数据的根目录

3）新建目录：

mkdir -p /leyou/tracker

注意：关闭防火墙：

systemctl stop iptables.service

4）启动和停止

启动tracker服务器: /etc/init.d/fdfs_trackerd start

停止tracker服务器: /etc/init.d/fdfs_trackerd stop

不过安装过程中，fdfs已经被设置为系统服务，我们可以采用熟悉的服务启动方式：

service fdfs_trackerd start # 启动fdfs_trackerd服务，停止用stop

检查FastDFS Tracker Server是否启动成功：

ps -ef | grep fdfs_trackerd

设置tracker服务开机启动:

chkconfig fdfs_trackerd on

4.7 配置并启动storage服务

1）首先将模板文件复制

cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

2）修改复制后的配置文件：

vim /etc/fdfs/storage.conf

# 修改的内容如下:

base_path=/leyou/storage                 # 数据和日志文件存储根目录 

store_path0=/leyou/storage           # 第一个存储目录 

tracker_server=192.168.56.101:22122       #  tracker服务器IP和端口

3）新建目录：

mkdir -p /leyou/storage

注意关闭防火墙： chkconfig iptables off

4）启动和停止

启动storage服务器：/etc/init.d/fdfs_storaged start

停止storage服务器：/etc/init.d/fdfs_storaged stop

推荐使用：

service fdfs_storaged start  # 启动fdfs_storaged服务，停止用stop

设置storage服务开机启动：

chkconfig fdfs_storaged on
ps -ef | grep fdfs

2.使用nginx访问FastDFS

2.1.为什么需要用Nginx访问？

FastDFS通过Tracker服务器,将文件放在Storage服务器存储，但是同组存储服务器之间需要进入文件复制，有同步延迟的问题。

假设Tracker服务器将文件上传到了192.168.4.125，上传成功后文件ID已经返回给客户端。此时FastDFS存储集群机制会将这个文件同步到同组存储192.168.4.126，在文件还没有复制完成的情况下，客户端如果用这个文件ID在192.168.4.126上取文件,就会出现文件无法访问的错误。

而fastdfs-nginx-module可以重定向文件连接到文件上传时的源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误

2.2.安装fastdfs-nginx-module

2.2.1.解压

tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

2.2.2.修改config

1）进入src目录

cd fastdfs-nginx-module/src/

2）编辑config

vim config

使用以下底行命令：

:%s+/usr/local/+/usr/+g

将所有的/usr/local替换为 /usr，这个才是正确的目录:

2.2.3.配置nginx与FastDFS关联配置文件

复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录， 并修改

cp fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

vi /etc/fdfs/mod_fastdfs.conf

修改以下配置：

connect_timeout=10                       # 客户端访问文件连接超时时长（单位：秒）

tracker_server=192.168.56.101:22122    # tracker服务IP和端口

url_have_group_name=true                # 访问链接前缀加上组名

store_path0=/leyou/storage            # 文件存储路径

复制 FastDFS 的部分配置文件到/etc/fdfs 目录

cd FastDFS/conf/
cp http.conf mime.types /etc/fdfs/

2.3.安装Nginx的插件

2.3.1.如果没有安装过nginx

  • 安装nginx的依赖库
yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel
  • 解压安装包
tar -zxvf nginx-1.10.0.tar.gz
  • 配置nginx安装包，并指定fastdfs-nginx-model
cd nginx-1.10.0

# ./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=上传解压的fastdfs-nginx-module路径
./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/root/fastdfs/fastdfs-nginx-module/src

注意：在执行./configure配置nginx参数的时候，需要将fastdfs-nginx-moudle源码作为模块编译进去。

  • 编译并安装
make && make install

2.3.2.如果已经安装过nginx

1） 进入nginx目录：

cd /usr/local/leyou/nginx-1.10.0/

2） 配置FastDFS 模块

./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/usr/local/leyou/fastdfs-nginx-module/src

注意：这次配置时，要添加fastdfs-nginx-moudle模块

3） 编译，注意，这次不要安装（install）

make

4） 替换nginx二进制文件:

备份：

mv /usr/bin/nginx /usr/bin/nginx-bak

用新编译的nginx启动文件替代原来的：

cp objs/nginx /usr/bin/

2.3.3.启动nginx

配置nginx整合fastdfs-module模块

我们需要修改nginx配置文件，在/opt/nginx/config/nginx.conf文件中：

vim  /opt/nginx/conf/nginx.conf

将文件中，原来的server 80{ ...} 部分代码替换为如下代码：

    server {
        listen       80;
        server_name  image.leyou.com;

        # 监听域名中带有group的，交给FastDFS模块处理
        location ~/group([0-9])/ {
            ngx_fastdfs_module;
        }

        location / {
            root   html;
            index  index.html index.htm;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }

检测修改过的nginx.conf是否合法

nginx -t

启动nginx：

nginx   # 启动nginx

nginx -s stop   # 停止nginx

nginx -s reload # 重新载入配置文件

# 可通过ps -ef | grep nginx查看nginx是否已启动成功

2.3.4.设置nginx开机启动

创建一个开机启动的脚本：

vim /etc/init.d/nginx

添加以下内容：

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:  NGINX is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid

# Source function library.
. /etc/rc.d/init.d/functions

# Source networking configuration.
. /etc/sysconfig/network

# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0

nginx="/usr/bin/nginx"
prog=$(basename $nginx)

NGINX_CONF_FILE="/opt/nginx/conf/nginx.conf"

[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx

lockfile=/var/lock/subsys/nginx

make_dirs() {
   # make required directories
   user=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   if [ -n "$user" ]; then
      if [ -z "`grep $user /etc/passwd`" ]; then
         useradd -M -s /bin/nologin $user
      fi
      options=`$nginx -V 2>&1 | grep 'configure arguments:'`
      for opt in $options; do
          if [ `echo $opt | grep '.*-temp-path'` ]; then
              value=`echo $opt | cut -d "=" -f 2`
              if [ ! -d "$value" ]; then
                  # echo "creating" $value
                  mkdir -p $value && chown -R $user $value
              fi
          fi
       done
    fi
}

start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}

stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}

restart() {
    configtest || return $?
    stop
    sleep 1
    start
}

reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}

force_reload() {
    restart
}

configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}

rh_status() {
    status $prog
}

rh_status_q() {
    rh_status >/dev/null 2>&1
}

case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

修改文件权限，并加入服务列表

# 修改权限
chmod 777 /etc/init.d/nginx 
# 添加到服务列表
chkconfig --add /etc/init.d/nginx

设置开机启动

chkconfig nginx on

おすすめ

転載: www.cnblogs.com/ifme/p/11994631.html
おすすめ
ランキング
Python 描画 3D 動的ヒストグラム コード チュートリアル
[vue3 共通エラー 5] Uncaught (in Promise) TypeError: xxx は関数ではありません
シンプルアップロードExcelファイルやデータベースにデータを追加
springboot における import アノテーションの役割
numpy 多维矩阵的维度交换
WMS システム - ウェーブ管理
Redis（7）マスター/スレーブレプリケーション
三北斗七星星座コアグローバルシステムの導入は完了です！グローバルネットワークを推進するために、
sql server语法——排序查询
続行することはできません立ち往生
アーカイブ
もっと
2024-05-16(24)
2024-05-15(5)
2024-05-14(9)
2024-05-13(8)
2024-05-12(27)
2024-05-11(31)
2024-05-10(33)
2024-05-09(30)
2024-05-08(18)
2024-05-07(34)

コードワールド

© 2018 codetd.com