Kubernetes集群安装、配置glusterfs文件系统

环境介绍：

3台Centos 7.4系统节点，已经部署好Kubernetes，同时复用这3台机器作为gluster存储节点：

host	IP	K8s role
g1-nasp	12.12.10.11	master + node
g3-nasp	12.12.10.13	node
g4-nasp	12.12.10.14	node

安装、配置glusterfs：

在物理主机上采用yum安装的方式，步骤如下：

1 在每台物理机上分别安装gluster源及相关组件：

$ sudo yum install -y centos-release-gluster
$ sudo yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

2 在每台物理机上分别启动gluster服务，并设置开机启动：

$ sudo systemctl start glusterd.service
$ sudo systemctl enable glusterd.service

3 在任意一台物理机上（如g1-nasp）配置，将3个节点加入到集群中：

$ sudo gluster peer probe g1-nasp
peer probe: success. Probe on localhost not needed
$ sudo gluster peer probe g3-nasp
peer probe: success.
$ sudo gluster peer probe g4-nasp
peer probe: success.

可以看到3个节点结果都显示peer probe：success。

4 在任意一个节点（如g4-nasp）查看集群状态：

$ sudo gluster peer status

在g4-nasp上可以观察到两个peer。

5 在3个节点分别创建数据存储目录，以home目录下的glusterfs/data为例：

$ mkdir -p ~/glusterfs/data

6 创建glusterfs磁盘(只需要在一个节点上执行即可)，以创建striped模式的磁盘为例，其他模式请参考：CentOS 7 安装 GlusterFS

sudo gluster volume create k8s-volume stripe 3 g1-nasp:/home/shuai/glusterfs/data g3-nasp:/home/shuai/glusterfs/data g4-nasp:/home/shuai/glusterfs/data force

此时，文件将会切分为3块，分别存储到各个节点。示意图如下（图片来源：http://www.cnblogs.com/jicki/p/5801712.html）

如上图，一个名为k8s-volume的volume就创建成功了！

7 启动k8s-volume，同样在一个节点执行：

$ sudo gluster volume start k8s-volume

8 查看volume状态：

$ sudo gluster volume info

9 glusterfs性能调优请参考：Glusterfs调优

至此，glusterfs文件系统就安装、配置完成了。如果在物理主机访问，需要在客户端安装glusterfs和glusters-fuse，并且挂载到物理主机的文件系统。

$ sudo yum install -y glusterfs glusterfs-fuse
$ sudo mkdir -p /opt/gfsmnt
$ sudo mount -t glusterfs g1-nasp:k8s-volume /opt/gfsmnt/

df查看挂载状态：

$ sudo df -h

Kubernetes配置使用glusterfs：

官方文档对配置过程进行了介绍：https://github.com/kubernetes/examples/blob/master/staging/volumes/glusterfs/README.md

以下过程可以在kubernetes集群中任意一个可以执行kubectl的节点操作！

1 配置endpoints：

$ curl -O https://raw.githubusercontent.com/kubernetes/kubernetes/master/examples/volumes/glusterfs/glusterfs-endpoints.json

注意修改其中的ip为集群的实际ip，port任意，不冲突即可。

$ kubectl create -f glusterfs-endpoints.json

查看endpoints:

$ kubectl get ep

2 配置PersistentVolume：

有关pv和pvc可以参考：Kubernetes的的 Persistent Volumes

创建glusterfs-pv.yaml文件，指定storage容量和读写属性，如：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv001
spec:
  capacity:
    storage: 20Gi
  accessModes:
    - ReadWriteMany
  glusterfs:
    endpoints: "glusterfs-cluster"
    path: "k8s-volume"
    readOnly: false

然后执行：

$ kubectl create -f glusterfs-pv.yaml

可以查看pv：

$ kubectl get pv

3 配置PersistentVolumeClaim:

创建glusterfs-pvc.yaml文件，指定请求资源大小，如：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc001
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 8Gi

然后执行：

$ kubectl create -f glusterfs-pvc.yaml

4 在deployment中挂载pvc：

以创建nginx，把pvc挂载到容器内的/usr/share/nginx/html文件夹为例：

nginx_deployment.yaml文件如下

apiVersion: extensions/v1beta1 
kind: Deployment 
metadata: 
  name: nginx-dm
spec: 
  replicas: 1
  template: 
    metadata: 
      labels: 
        name: nginx 
    spec: 
      containers: 
        - name: nginx 
          image: nginx
          ports: 
            - containerPort: 80
          volumeMounts:
            - name: storage001
              mountPath: "/usr/share/nginx/html"
      volumes:
      - name: storage001
        persistentVolumeClaim:
          claimName: pvc001

然后执行：

$ kubectl create -f nginx_deployment.yaml

接下来，可以查看是否挂载成功。

首先查看deployment

$ kubectl get pods |grep nginx-dm

查看挂载：

$ kubectl exec -it nginx-dm-1224537537-r26sp -- df -h |grep k8s-volume

创建文件：

$ kubectl exec -it nginx-dm-1224537537-r26sp -- touch /usr/share/nginx/html/123.txt

查看文件属性：

$ kubectl exec -it nginx-dm-1224537537-r26sp -- ls -lt  /usr/share/nginx/html/123.txt 
-rw-r--r-- 1 root root 0 Mar 28 10:49 /usr/share/nginx/html/123.txt

此时在3台物理主机上都可以看到123.txt文件。

参考：

1. http://www.cnblogs.com/jicki/p/5801712.html

2. https://jimmysong.io/kubernetes-handbook/practice/using-glusterfs-for-persistent-storage.html