一、GFS 概述
1.1 Gluster简介
- 开源的分布式文件系统
- 由存储服务器、客户端以及NFS/Samba存储网管组成
- 无元数据服务器
- GlusterFS特点
扩展性和高性能
高可用性
全局统一命名空间
弹性卷管理
基于标准协议
1.2 Gluster常用术语
- Brick:GFS中的存储单元，通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识，如’SERVER:EXPORT’
- Volume：卷
- FUSE：内核文件系统，Filesystem Userspace是一个可加载的内核模块，其支持非特权用户创建自己的文件系统而不需要修改内核代码。通过在用户空间运行文件系统的代码通过FUSE代码与内核进行桥接。
- VFS：虚拟文件系统
- Glusterd：Gluster management daemon，要在trusted storage pool中所有的服务器上运行。
1.3 Gluster结构与工作原理
结构
模块化堆栈式架构
模块化、堆栈式的架构
通过对模块的组合，实现复杂的功能
工作原理
1、客户端或应用程序通过GlusterFS的挂载点访问数据
2、linux系统内核通过VFS API收到请求并处理
3、VFS将数据递交给FUSE内核文件系统, fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端
4、GlusterFS client 收到数据后，client根据配置文件的配置对数据进行处理
5、通过网络将数据传递至远端的GlusterFS Server,并且将数据写入到服务器存储设备上
1.4 GlusterFS 算法
- 通过HASH算法得到一个32位的整数
- 划分为N个连续的子空间，每个空间对应一个Brick
- 弹性HASH算法的优点
- 保证数据平均分布在每一个Brick中
- 解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈
二、GlusterFS 的卷类型
- 分布式卷
- 条带卷
- 复制卷
- 分布式条带卷
- 分布式复制卷
- 条带复制卷
- 分布式条带复制卷
2.1 分布式卷
- 没有对文件进行分块处理
- 通过扩展文件属性保存Hash值
- 支持的底层文件系统有 EXT3、EXT4、ZFS、XFS 等
- 没有分块处理，文件只能存在一个server中，效率不提升
分布式特点
文件分布在不同的服务器，不具备冗余性
更容易和廉价低扩展卷的大小
单点故障会造成数据丢失
依赖底层的数据保护
创建分布式卷
gluster volume create dis-volume server1:/dir1 server2:/dir2 s erver3:/dir3
## 指定名称为 dis-volume 包含 server1:/dir1 server2:/dir2 s erver3:/dir3
2.2 条带卷
- 根据偏移量将文件分成N块（N个条带节点），轮询的存储在每个Brick Server节点
- 存储大文件时，性能尤为突出
- 不具备冗余性,类似Raid0
特点
数据被分割成更小块分布式到块服务器群中的不同条带区
分布减少了负载且更小的文件加速了存取的速度
没有数据冗余
创建条带卷
gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2
## 名称为 stripe-volume 每个文件分为两块（stripe 2） ， 指定传输协议为tcp（transport tcp） 包含server1:/dir1 server2:/dir2
2.3 复制卷
- 同一文件保存一份或者多份
- 因为要保存副本，所以磁盘利用率低
- 若多个节点上的存储空间一致，将按照木桶效应取最低点节点的容量作为改卷的总容量
特点
卷中所有的服务器均保存一个完整的副本
卷的副本数量可由客户创建的时候决定
至少有两个块服务器或更多服务器
具备冗余性
创建复制卷
gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2
# 创建名为rep-volume的复制卷，文件将同时保存两份副本，分别再Server1：/dir1 和Server2：/dir2 中
2.4 分布式条带卷
- 兼顾分布式卷和条带卷的功能
- 主要用于大文件访问处理
- 至少最少需要 4 台服务器
创建分布式条带卷
创建了名为dis-stripe的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器必须是条带数的倍数（>=2倍）
gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
2.5 分布式复制卷
- 兼顾分布式卷和复制卷的功能
- 用于需要冗余的情况下
创建命令
创建了名为dis-rep 的分布式复制卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器必须是条带数的倍数（>=2倍）
gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
三、Gluster群集部署
3.1 实验环境
4台虚拟机 IP地址分别为
node1 192.168.233.100
node2 192.168.233.100
node3 192.168.233.180
node4 192.168.233.50
每台虚拟机添加4个大小为20G的硬盘
3.2 实验准备工作
root@localhost ~]# hostnamectl set-hostname node1 ## 4台服务器依次修改主机名
[root@localhost ~]# su
[root@node1 ~]# vim /etc/hosts ## 四台都要写入 主机名要和IP地址对应 用 scp /etc/hosts [email protected]:/etc/hosts 为了方便 可以传输过去
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.233.100 node1
192.168.233.200 node2
192.168.233.180 node3
192.168.233.50 node4
[root@node1 ~]# systemctl stop firewalld ## 四台服务器都关闭防火墙 清空规则没用 还是会有干扰
[root@node1 ~]# setenforce 0
3.3 配置yum源 安装Gluster
- 每台节点都要装
root@promote ~]# mount -t cifs -o username=wang,password=248569 //192.168.1.162/gfsrepo /mnt
[root@localhost ~]# cd /etc/yum.repos.d/
[root@localhost yum.repos.d]# mkdir bak
[root@localhost yum.repos.d]# mv C* bak
[root@localhost yum.repos.d]# vim GLFS.repo
[GLFS]
name=glfs
baseurl=file:///mnt/
gpgcheck=0
enable=1
[root@localhost ~]# yum clean all
[root@localhost ~]# yum list
[root@node1 mnt]# yum -y install glusterfs-server glusterfs-rdma glusterfs-fuse
[root@node1 ~]# systemctl start glusterd.service ## gluster服务启动
[root@node1 ~]# systemctl enable glusterd.service ## 开机自启动
[root@node1 ~]# systemctl status glusterd.service ## 查看状态
3.4 校验时间，添加gluster邻居
[root@node1 ~]# ntpdate ntp1.aliyun.com ## 确保后面数据是正的
13 Sep 22:20:58 ntpdate[20333]: adjust time server 120.25.115.20 offset 0.000040 sec
#####添加入存储信任池只要在一台主机上添加其他节点即可
[root@node1 ~]# gluster peer probe node2
peer probe: success.
[root@node1 ~]# gluster peer probe node3
peer probe: success.
[root@node1 ~]# gluster peer probe node4
peer probe: success.
3.5 查看gluster节点
[root@node1 ~]# gluster peer status ## 查看所有节点
Number of Peers: 3
Hostname: node2
Uuid: 2cfcfa43-89ba-40ec-ba5e-e6873a40b649
State: Peer in Cluster (Connected)
Hostname: node3
Uuid: b7c73acb-a677-45a4-9e14-6cec62f1cc86
State: Peer in Cluster (Connected)
Hostname: node4
Uuid: d2a4f351-3e22-416b-9a4a-b6713dc6c5c7
State: Peer in Cluster (Connected)
3.6 客户端操作
[root@client ~]# systemctl stop firewalld
[root@client ~]# setenforce 0
[root@client ~]# mount -t cifs -o username=wang,password=248569 //192.168.1.162/gfsrepo /mnt
[root@client ~]# cd /etc/yum.repos.d/
[root@client yum.repos.d]# mkdir bak
[root@client yum.repos.d]# mv C* bak
[root@client yum.repos.d]# vim GLFS.repo
[GLFS]
name=glfs
baseurl=file:///mnt/
gpgcheck=0
enable=1
[root@client ~]# yum clean all
[root@client ~]# yum list
[root@client ~]# yum remove glusterfs-libs.x86_64
[root@client mnt]# yum -y install glusterfs-server glusterfs-rdma glusterfs-fuse
[root@client ~]# vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.233.100 node1
192.168.233.200 node2
192.168.233.180 node3
192.168.233.50 node4
3.7 各种卷的创建
3.7.1 条带卷的创建与存储方式验证
########创建 条带卷 随便哪个node节点都可以
[root@node1 ~]# gluster volume create stripe-vol stripe 2 node1:/data/sdc1 node2:/data/sdc1 force ## 创建条带卷
volume create: stripe-vol: success: please start the volume to access data
[root@node1 ~]# gluster volume list ## 查看卷
stripe-vol
[root@node1 ~]# gluster volume info stripe-vol ## 查看stripe-vol
Volume Name: stripe-vol
Type: Stripe
Volume ID: 164d4e23-51af-47b6-8b77-a8c50b267e52
Status: Created
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdc1
Brick2: node2:/data/sdc1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
[root@node1 ~]# gluster volume start stripe-vol ## 开启卷 才能挂载
volume start: stripe-vol: success
验证
### 客户端验证条带卷
dd if=/dev/zero of=/demo1.log bs=1M count=40 ## 创建5个用于测试的包，每个40M
dd if=/dev/zero of=/demo2.log bs=1M count=40
dd if=/dev/zero of=/demo3.log bs=1M count=40
dd if=/dev/zero of=/demo4.log bs=1M count=40
dd if=/dev/zero of=/demo5.log bs=1M count=40
[root@client ~]# mkdir -p /test/stripe-vol
[root@client ~]# mount.glusterfs node1:stripe-vol /test/stripe-vol/ ## 这里node用哪个都可以 挂载 stripe-vol 到 /test/stripe-vol/
[root@client ~]# cd /
[root@client /]# ls
bin demo1.log demo3.log demo5.log etc lib media opt root sbin sys tmp var
boot demo2.log demo4.log dev home lib64 mnt proc run srv test usr
[root@client /]# cp -p demo* /test/stripe-vol/ ## 将测试的文件复制到/test/stripe-vol/
查看node2
[root@node2 ~]# cd /data/sdc1/
[root@node2 sdc1]# ls -lh
总用量 100M
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo1.log
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo2.log
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo3.log
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo4.log
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo5.log
[root@node1 ~]# cd /data/sdc1/
[root@node1 sdc1]# ls -lh
总用量 100M
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo1.log
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo2.log
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo3.log
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo4.log
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo5.log
3.7.2 分布卷的创建与存储方式验证
- 节点创建分布卷
创建 分布式卷
[root@node1 sdc1]# gluster volume create dis-vol node1:/data/sdb1 node2:/data/sdb1 force
volume create: dis-vol: success: please start the volume to access data
[root@node1 sdc1]# gluster volume start dis-vol
volume start: dis-vol: success
- 验证
–客户端
[root@client /]# mount.glusterfs node1:dis-vol /test/dis-vol/
[root@client /]# cp -p demo* /test/dis-vol/ ## 将测试的文件复制到/test/dis -vol/
[root@node1 sdc1]# cd /data/sdb1/
您在 /var/spool/mail/root 中有新邮件
[root@node1 sdb1]# ls -lh
总用量 160M
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo1.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo2.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo3.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo4.log
[root@node2 sdc1]# cd /data/sdb1/
[root@node2 sdb1]# ls -lh
总用量 40M
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo5.log
3.7.3 复制卷的创建与存储方式验证
- 创建复制卷
[root@node1 sdb1]# gluster volume create rep-vol replica 2 node3:/data/sdb1 node4:/data/sdb1 force
volume create: rep-vol: success: please start the volume to access data
[root@node1 sdb1]# gluster volume start rep-vol
volume start: rep-vol: success
- 验证
####### 客户端
[root@client test]# mkdir -p /test/rep-vol
[root@client test]# mount.glusterfs node1:rep-vol /test/rep-vol/
[root@client /]# cp -p demo* /test/rep-vol/
## node 3
[root@node3 ~]# cd /data/sdb1/
[root@node3 sdb1]# ls -lh
总用量 200M
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo1.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo2.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo3.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo4.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo5.log
#### node 4
[root@node4 ~]# cd /data/sdb1/
[root@node4 sdb1]# ls -lh
总用量 200M
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo1.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo2.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo3.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo4.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo5.log
3.7.4 分布式条带卷的创建与存储方式验证
- 创建分布式条带卷
[root@node1 sdb1]# gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
volume create: dis-stripe: success: please start the volume to access data
[root@node1 sdb1]# gluster volume start dis-stripe
volume start: dis-stripe: success
- 验证
客户端
[root@client /]# mkdir -p /test/dis-stripe
[root@client /]# mount.glusterfs node1:dis-stripe /test/dis-stripe/
[root@client /]# cp -p demo* /test/dis-stripe/
验证
[root@node1 sdb1]# cd /data/sdd1/
[root@node1 sdd1]# ls -lh
总用量 80M
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo1.log
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo2.log
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo3.log
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo4.log
[root@node2 sdb1]# cd /data/sdd1/
[root@node2 sdd1]# ls -lh
总用量 80M
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo1.log
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo2.log
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo3.log
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo4.log
[root@node3 sdb1]# cd /data/sdd1/
[root@node3 sdd1]# ls -lh
总用量 20M
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo5.log
[root@node4 sdb1]# cd /data/sdd1/
[root@node4 sdd1]# ls -lh
总用量 20M
-rw-r--r--. 2 root root 20M 9月 14 09:51 demo5.log
3.7.5 分布式复制卷的创建与存储方式验证
- 创建分布式复制卷
###########################分布式复制卷#######
[root@node1 sdd1]# gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
volume create: dis-rep: success: please start the volume to access data
[root@node1 sdd1]# gluster volume start dis-rep
volume start: dis-rep: success
- 验证
#######客户端#############
[root@client /]# mkdir -p /test/dis-rep
[root@client /]# mount.glusterfs node1:dis-rep /test/dis-rep/
验证
[root@node1 sdd1]# cd /data/sde1/
[root@node1 sde1]# ls -lh
总用量 160M
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo1.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo2.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo3.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo4.log
[root@node2 sdd1]# cd /data/sde1/
[root@node2 sde1]# ls -lh
总用量 160M
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo1.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo2.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo3.log
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo4.log
[root@node3 sdd1]# cd /data/sde1/
[root@node3 sde1]# ls -lh
总用量 120M
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo5.log
-rw-r--r--. 2 root root 40M 9月 14 10:36 demo6.log
-rw-r--r--. 2 root root 40M 9月 14 10:37 demo7.log
[root@node4 sdb1]# cd /data/sde1/
[root@node4 sde1]# ls -lh
总用量 120M
-rw-r--r--. 2 root root 40M 9月 14 09:51 demo5.log
-rw-r--r--. 2 root root 40M 9月 14 10:36 demo6.log
-rw-r--r--. 2 root root 40M 9月 14 10:37 demo7.log
3.8 破坏测试
关闭node2 节点
除了复制卷 其他多多少少都会出现问题
条带卷全军覆没，分布式存在挂的节点上的数据没有了
3.9 访问控制
[root@node1 sde1]# gluster volume set dis-rep auth.reject 192.168.233.30 ## 禁止 192.168.233.30 使用dis-rep卷（黑名单）
volume set: success
### 客户端 挂载这个卷失败
[root@client /]# mount.glusterfs node1:dis-rep /test/dis-rep/
Mount failed. Please check the log file for more details.
[root@node1 sde1]# gluster volume set dis-rep auth.allow 192.168.233.30 ## 仅允许 192.168.233.30 使用dis-rep卷（白名单）