GlusterFS是一个高层次的分布式文件系统解决方案。通过增加一个逻辑层，对上层使用者掩盖了下面的实现，使用者不用了解也不需知道，文件的存储形式、分布。
其相对于传统NAS 、SAN、Raid的优点就是：
1.容量可以按比例的扩展，且性能却不会因此而降低。
2.廉价且使用简单，完全抽象在已有的文件系统之上。
3.扩展和容错设计的比较合理，复杂度较低。扩展使用translator方式，扩展调度使用scheduling接口，容错交给了本地的文件系统来处理。
4.适应性强，部署方便，对环境依赖低，使用，调试和维护便利。
支持主流的linux系统发行版，包括 fc，ubuntu，debian，suse等，并已有若干成功应用。
项目需求
我们docker测试服务器的机器由于每台机器的容量为40GB，所以存储的空间有限，而且docker需要通过挂载存储卷来保存业务数据，解决的方案有：Glusterfs ，NFS ，阿里的云盘以及nas的方案。
NFS的这个服务，支持单机的，而且没有集群方案，而阿里的云盘和nas的方案略贵，所以觉得自己搭建Glusterfs 更为合适。
架构
| ip | 主机名 | clusterFs角色 |
|---|---|---|
| 192.168.100.10 | node1 | master |
| 192.168.100.11 | node2 | master |
| 192.168.100.12 | node3 | master |
| 192.168.100.13 | node4 | master |
1 搭建步骤
1.1配置本地hosts
编辑本地hosts，将需要添加的机器都给配置到本地hosts ,这个地方定义了4个节点，然后用于做briks的配置。
vim /etc/hosts
192.168.100.10 node1
192.168.100.11 node2
192.168.100.12 node3
192.168.100.13 node4
1.2 关闭防火墙
这一步，在我们的服务器一般都不需要，因为默认都是关闭防火墙的。
systemctl stop firewalld.service
systemctl disable firewalld.service
1.3 安装glusterfs
安装glusterfs，挺简单的，就是直接yun install 就ko了，注意，我们只需要在服务端安装这些，客户端，不需要。
yum install -y centos-release-gluster
yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
#添加到开机启动
#启动服务，并添加到开机启动
systemctl start glusterd.service
systemctl enable glusterd.service
启动服务
1.3 将slave节点加入到gluster集群中
#node1,node2,node3,这些是主机名
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4
#查看节点的状态
gluster peer status
#删除指定的节点，后跟主机名或IP
gluster peer detach node2
#关于gluster peer命令的帮助信息
gluster peer help
添加节点，可以看到我当添加本地这个节点的时候，说没有必要添加当前节点。
把节点2 干掉，只剩下node1了，然后需要把节点2再添加上来，一定要确认当前节点没有卷，不然是删除不掉的。
最后添加了4台机器
2 创建卷
2.1 GlusterFS 7种卷
为了满足不同应用对高性能、高可用的需求，GlusterFS 支持 7 种卷，即 distribute 卷、stripe 卷、replica 卷、distribute stripe 卷、distribute replica 卷、stripe Replica 卷、distribute stripe replica 卷。其实不难看出，GlusterFS 卷类型实际上可以分为 3 种基本卷和 4 种复合卷，每种类型的卷都有其自身的特点和适用场景。
###2.2 分布试卷
默认是这个
#创建目录
mkdir /data/brik
#
gluster volume create k8s_data master-01-k8s:/data/gluster master-02-k8s:/data/gluster master-03-k8s:/data/gluster force
2.3 复制式卷
#k8s_data 这个是卷的名称
#replica 3 表示是三份副本，也就是一份数据写三分
#目前支持比较好的是2或者3副本，事实上个人觉得3最好了，性能上还可以接受，安全上比2要好，因为是无中心的，2个brick复制可能脑裂的几率会比较大。
#每个节点的目录。
#node1:/data/gluster node2:/data/gluster node3:/data/gluster
#force 强制
gluster volume create k8s_data replica 3 master-01-k8s:/data/gluster master-02-k8s:/data/gluster master-03-k8s:/data/gluster force
#启动卷
gluster volume start k8s_data
#停止卷
gluster volume stop k8s_data
#查看节点状态
gluster volume status
#查看卷的情况
gluster volume info k8s_data
#删除卷
gluster volume delete k8s_data
2.4 分布式复制式卷
这个模式比较的重要，企业开发中，一般会使用这个模式。执行添加卷的时候，一定要确保挂载的目录存在，不然，就会报错。
mkdir -p /data/gluster2
#创建备份
gluster volume create k8s_data replica 2 node1:/data/gluster2 node2:/data/gluster2 force
#k8s_data 这个是卷的名称
#replica 2 表示是两份副本，也就是一份数据写两份副本
#每个节点的目录。
#
#force 强制
gluster volume add-brick k8s_data replica 2 node3:/data/gluster2 node4:/data/gluster2 force
#启动卷
gluster volume start k8s_data
#停止卷
gluster volume stop k8s_data
#查看节点状态
gluster volume status
#查看卷的情况
gluster volume info k8s_data
查看目录卷信息，ke可以
可以看到两个备份的情况，会将file1数据写两份到node1和node2节点,当我们写第二个文件的时候 ，就会写到node3,node4了，第三个，又会写到第一个组合了。
2.4.1 收缩卷
收缩卷前gluster需要先移动数据到其他位置,删除卷，是成对的删除，而且是一组brick的这种。
#k8s_data 卷的名称
#node3:/data/gluster2/ 节点名和目录
#开始缩容
gluster volume remove-brick k8s_data node3:/data/gluster2/ node4:/data/gluster2/ start
#查看状态
gluster volume remove-brick k8s_data node3:/data/gluster2/ node4:/data/gluster2/ status
#提交
gluster volume remove-brick k8s_data node3:/data/gluster2/ node4:/data/gluster2/ commit
2.4.2 迁移卷
#刚刚删除了卷，然后现在需要将node2 节点，换成node3 节点
gluster volume replace-brick k8s_data node2:/data/gluster2/ node3:/data/gluster2/ start # 开始迁移
# 查看迁移状态
gluster volume replace-brick k8s_data node2:/data/gluster2/ node3:/data/gluster2/ status
# 数据迁移完毕后提交
gluster volume replace-brick k8s_data node2:/data/gluster2/ node3:/data/gluster2/ commit
# 如果机器10.0.21.246出现故障已经不能运行,执行强制提交
gluster volume replace-brick k8s_data node2:/data/gluster2/ node3:/data/gluster2/ commit -force
gluster volume heal k8s_data full # 同步整个卷
3 客户端使用
3.1 安装客户端
安装了客户端后，挂载glusterfs ，然后可以像本地的服务使用这个存储卷了。
yum install -y glusterfs glusterfs-fuse
#创建目录
mkdir /data2
#挂载
#k8s_data 这个是volume的名称
#node1 这个是第一个节点，可以是集群中的任意一个节点。
mount -t glusterfs node1:/k8s_data /data2
#去掉挂载
umount /data2
挂载磁盘。
常见问题
1 volume delete: k8s_data: failed: Some of the peers are down
#查看卷的情况
gluster volume info k8s_data
#停止卷
gluster volume stop k8s_data
#删除卷
gluster volume delete k8s_data
rm -rf /data/k8s_data
挂载后的目录大小，可以看到卷的大小为当前目录大小*2
常用命令
gluster peer probe #增加一个节点，参数为主机名或IP
gluster peer detach #删除指定的节点，后跟主机名或IP
gluster peer status #列出切点的状态
gluster peer help #关于gluster peer命令的帮助信息
参考文章
https://blog.csdn.net/xuguokun1986/article/details/71693769
https://jingyan.baidu.com/article/cbcede077f90bf02f40b4d94.html
https://www.cnblogs.com/terrycy/p/5915263.html