MFS 分布式文件系统

一、MFS企业应用场景

> 多台web服务器通过nfs共享一个存储,虽然业务上满足需求,但在性能与容量上无法胜任更高的要求,nfs服务器不堪重负,出现超时问题,同时也存在单点故障问题。尽管可以使用rsync同步数据到另一台服务器上做nfs服务的备份,但对提高整个系统的性能毫无帮助。可对nfs进行优化或者采取别的解决方案,但是优化并不能满足日益增多的客户端的性能要求。
解决方案是采用分布式文件系统。采用分布式文件系统后,服务器之间的数据访问不再是一对多的关系,而是多对多的关系(即多web服务器对多文件服务器),这样可以使性能得到大幅提升。
MFS分布式文件系统,即moosefs,可提供容量PB级别的共享存储,无需昂贵的专业硬件服务器便可完成构件。具有冗余容错功能,高可用、可扩展的海量级别分布式文件系统,保证数据的安全性。
MFS把数据分散在多台服务器上,但用户看到的只是一个源。

二、MFS分布式文件系统的原理

分布式文件系统是指文件系统管理的物理存储资源不一定直接连接本地节点上,而是通过计算机网络与节点相连。就是把一些分散的(分布在局域网内各个计算机上)共享文件夹,集合到一个文件夹内(虚拟共享文件夹)。对于用户来说,要访问这些共享文件夹时,只要打开这个虚拟共享文件夹,就可以看到所有连接到虚拟共享文件夹内的共享文件,用户感觉不到这些共享文件夹是分散于各个计算机上的。
  • 好处:集中访问、简化操作、数据容灾、提高文件存取性能、在线扩容。
  • MFS时一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈献给用户的是一个统一的资源,对于这个统一的源,可挂载使用。
组成 作用
master 元数据服务器 在整个系统中负责管理文件系统,维护元数据。
metalogger 元数据日志服务器 备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs。当master服务器数据丢失或损坏,可以从日志服务器中取得文件恢复。
chunk server 数据存储服务器 真正存储数据的服务器。存储文件时,会把文件分块保存,并在数据服务器之间复制,数据服务器越多,能使用的容量越大,可靠性越高,性能越好。
客户端 client 可以像挂载nfs一样挂载mfs文件系统,操作相同。
  • MFS 读取数据的处理过程
    客户端(client)向元数据服务器(master)发出读请求——>元数据服务器把所需数据存放的位置(chunk server的IP地址和chunk编号)告知客户端——>客户端向已知的chunk server请求发送数据——>chunk server向客户端发送数据

  • MFS 写入数据的处理过程
    客户端(client)向元数据服务器(master)发送写请求——>元数据服务器与chunk server进行交互(只有当所需的分块chunks存在的时候进行这个交互),但元数据服务器只在某些服务器创建新的分块chunks,创建完告知元数据服务器操作成功——>元数据服务器告知客户端,可以在哪个chunk server的哪些chunks写入数据——>客户端向指定的chunk server写入数据——>该chunk server与其他chunk server进行数据同步,之后chunk server告知客户端数据写入成功——>客户端告知元数据服务器本次写入完毕

三、模拟搭建mfs文件系统

服务器 IP 提前准备
master 192.168.2.11 mfs-1.6.27
metalogger 192.2.12 mfs-1.6.27
chunk server1 192.168.2.13 mfs-1.6.27 增加一块5G硬盘
chunk server2 192.168.2.14 mfs-1.6.27 增加一块5G硬盘
chunk server3 192.168.2.15 mfs-1.6.27 增加一块5G硬盘
client 192.168.2.16 mfs-1.6.27、fuse-2.9.2

由于自己搭建的时候不太方便同时写博客,搭建成功了才写的,大家学习搭建的时候完全可以将这部分复制成一个脚本执行。当然前提你要做好上面的环境准备,自行百度下载,(不用纠结版本)

  1. master 配置
useradd -M -s /sbin/nologin mfs
yum -y install zlib-devel
tar -xf mfs-1.6.27-5.tar.gz -C /usr/src/
cd /usr/src/mfs-1.6.27/
./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount && make && make install

cd /usr/local/mfs/etc/mfs/
ls
mfsexports.cfg.dist    mfsmetalogger.cfg.dist
mfsmaster.cfg.dist     mfstopology.cfg.dist
#被挂载目录及权限配置文件
cp mfsexports.cfg.dist mfsexports.cfg 
#主配置文件   
cp mfsmaster.cfg.dist mfsmaster.cfg      
cp mfstopology.cfg.dist mfstopology.cfg
cd /usr/local/mfs/var/mfs/
cp metadata.mfs.empty metadata.mfs
/usr/local/mfs/sbin/mfsmaster start
#验证是否启动
ps aux |grep mfs|grep -v grep
  1. 搭建 metalogger server(换虚拟机了,注意,对应IP,别搞混了)
useradd -M -s /sbin/nologin mfs
yum -y install zlib-devel
tar xf mfs-1.6.27-5.tar.gz -C /usr/src/
cd /usr/src/mfs-1.6.27/
.configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount && make && make install
cd /usr/local/mfs/etc/mfs/
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

vim mfsmetalogger.cfg
MASTER_HOST=192.168.2.11 //元数据服务器的master的IP地址
*这个步骤用sed能改,自己思考一下,但建议还是亲自打开修改,以免失误*

ll -d /usr/local/mfs/var/mfs/
/usr/local/mfs/sbin/mfsmetalogger start
ps aux |grep mfs |grep -v grep
  1. 搭建三台chunk server(三台方法相同)
fdisk -l|grep /dev/
fdisk /dev/sdb
接下来的步骤是对/dev/sdb分区和格式化,分一个区,大小直接回车,w保存
partx -a /dev/sdb
mkfs.ext4 /dev/sdb1
mkdir /data
mount /dev/sdb1 /data/
chown -R mfs.mfs /data/
df -hT

man partx
The partx is not an fdisk program -- adding and removing partitions does not change the disk, it just tells the kernel about the presence and numbering of on-disk partitions.

```
useradd -M -s /sbin/nologin mfs
yum -y install zlib-devel
tar xf mfs-1.6.27-5.tar.gz -C /usr/src/
cd /usr/src/mfs-1.6.27/
./configure --prefix=/usr/loca/mfs --with-default-user-mfs --with-default-group=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfsmount && make && make install
cd /usr/local/mfs/etc/mfs
ls
mfschunkserver.dist mfshdd.cfg.dist
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg
vim mfschunkserver.cfg
MASTER_HOST=192.168.2.11
vim mfshdd.cfg
/data //添加此行,/data是给mfs的分区,生产环境最好是使用一个独立的分区或独立的磁盘挂载到此目录

/usr/local/mfs/sbin/mfschunkserver start
ps aux |grep mfs |grep -v grep

由于三台服务器配置相同,为了提高效率,可以通过shell脚本实现。
还有一种好方法,用ansible实现,将这些IP加入主机清单,快的很,我写到这儿的时候,已经很不耐烦了,希望大家能够用ansible实现。不知道ansible不要紧,参考本人博客

猜你喜欢

转载自www.cnblogs.com/liuwei-xd/p/11110606.html