这里采用最简单的方法,挂载宿主系统的GlusterFS卷给Kubernetes中的pod使用。
1、安装GlusterFS
Kubernetes可以直接挂载多种文件系统,其中包括GlusterFS(https://kubernetes.io/docs/concepts/storage/volumes/#glusterfs)。
关于GlusterFS更多信息,参见:
- 分布式存储系统GlusterFS最新版本安装
- 安装 GlusterFS - 快速开始
- Setting up GlusterFS Volumes
- 通过GlusterFS黏合多节点SSD剩余空间
- GlusterFS强制删除节点
2、创建终结点
创建(endpoint.yaml),可以聚合多个节点的GlusterFS服务。
apiVersion: v1
kind: Endpoints
metadata:
name: glusterfs-cluster
namespace: default
subsets:
- addresses:
- ip: 10.1.1.184
ports:
- port: 1000
protocol: TCP
3、创建服务点
创建(service.yaml),将GlusterFS通过Kubernetes服务提供访问。
apiVersion: v1
kind: Service
metadata:
name: glusterfs-cluster
namespace: default
spec:
ports:
- port: 1000
protocol: TCP
targetPort: 1000
sessionAffinity: None
type: ClusterIP
4、创建使用者
创建(pod.json),将GlusterFS的Volume挂载到pod中。
{
"apiVersion": "v1",
"kind": "Pod",
"metadata": {
"name": "glusterfs"
},
"spec": {
"containers": [
{
"name": "glusterfs",
"image": "nginx",
"volumeMounts": [
{
"mountPath": "/mnt/glusterfs",
"name": "glusterfsvol"
}
]
}
],
"volumes": [
{
"name": "glusterfsvol",
"glusterfs": {
"endpoints": "glusterfs-cluster",
"path": "gvx",
"readOnly": true
}
}
]
}
}
5、创建PV
将GlusterFS的卷映射为Kbernetes的持久卷(pv),从而提供统一的访问方法。
apiVersion: v1
kind: PersistentVolume
metadata:
name: gluster-dev-volume
spec:
capacity:
storage: 8Gi
accessModes:
- ReadWriteMany
glusterfs:
endpoints: "glusterfs-cluster"
path: "gvx"
readOnly: false
6、创建PVC
通过pvc(持久卷申请),Kubernetes可以自动在可用资源分配持久卷。
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: glusterfs-nginx
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 2Gi
7、测试持久卷
创建 pod-nginx.yaml,使用pvc来定义存储。跟上面2中的用法有点不同,2中使用直接挂载volume卷的方法,可移植性不如使用pvc这个统一的CSI(容器存储借口)标准规范接口。
apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
kind: Deployment
metadata:
name: nginx-deployment
spec:
selector:
matchLabels:
app: nginx
replicas: 2 # tells deployment to run 2 pods matching the template
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx:1.7.9
ports:
- containerPort: 80
volumeMounts:
- name: gluster-dev-volume
mountPath: "/usr/share/nginx/html"
volumes:
- name: gluster-dev-volume
persistentVolumeClaim:
claimName: glusterfs-nginx
8、执行和获取状态信息
按下面的方法执行命令,获取状态信息。
$ kubectl apply -f glusterfs-endpoints.json
$ kubectl get ep
$ kubectl apply -f glusterfs-service.json
$ kubectl get svc# 查看测试 Pod$ kubectl apply -f glusterfs-pod.json
$ kubectl get pods
$ kubectl describe pods/glusterfs
$ kubectl exec glusterfs -- mount | grep gluster
除了上面的方法之外,还有其它的在Kubernetes中使用Gluster的方法,如使用heketi(Heketi使用hostnet和Volume映射到宿主机的Gluster服务,采用Daemonset方式进行节点管理)。
此外,最新的Gluster提供原生支持Kubernetes的方法,不过目前还处于早期阶段,暂时还不具备可用性。
更多: