Docker Kubernetes存储--Volumes配置管理

1.简介

Volumes官网

• 容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些问题。首先，当容器崩溃时，kubelet 将重新启动容器，容器中的文件将会丢失,因为容器会以干净的状态重建。其次，当在一个 Pod 中同时运行多个容器时，常常需要在这些容器之间共享文件。 Kubernetes 抽象出 Volume 对象来解决这两个问题。

• Kubernetes 卷具有明确的生命周期,与包裹它的 Pod 相同。 因此，卷比 Pod 中运行的任何容器的存活期都长，在容器重新启动时数据也会得到保留。 当然，当一个 Pod 不再存在时，卷也将不再存在。也许更重要的是，Kubernetes 可以支持许多类型的卷，Pod 也能同时使用任意数量的卷。

• 卷不能挂载到其他卷，也不能与其他卷有硬链接。 Pod 中的每个容器必须独立地指定每个卷的挂载位置。

• Kubernetes 支持下列类型的卷：
  awsElasticBlockStore 、azureDisk、azureFile、cephfs、cinder、configMap、csi
  downwardAPI、emptyDir、fc (fibre channel)、flexVolume、flocker
  gcePersistentDisk、gitRepo (deprecated)、glusterfs、hostPath、iscsi、local、
  nfs、persistentVolumeClaim、projected、portworxVolume、quobyte、rbd
  scaleIO、secret、storageos、vsphereVolume

2. emptyDir卷

2.1 简介

• 当 Pod 指定到某个节点上时，首先创建的是一个 emptyDir 卷，并且只要 Pod 在该节点上运行，卷就一直存在。 就像它的名称表示的那样，卷最初是空的。 尽管 Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同，但是这些容器都可以读写 emptyDir 卷中相同的文件。 当 Pod 因为某些原因被从节点上删除时，emptyDir 卷中的数据也会永久删除。

• emptyDir 的使用场景：
  缓存空间，例如基于磁盘的归并排序。
  为耗时较长的计算任务提供检查点，以便任务能方便地从崩溃前状态恢复执行。
  在 Web 服务器容器服务数据时，保存内容管理器容器获取的文件。

• 默认情况下， emptyDir 卷存储在支持该节点所使用的介质上；这里的介质可以是磁盘或 SSD 或网络存储，这取决于您的环境。 但是，您可以将 emptyDir.medium 字段设置为 “Memory”，以告诉 Kubernetes 为您安装 tmpfs（基于内存的文件系统）。 虽然 tmpfs 速度非常快，但是要注意它与磁盘不同。 tmpfs 在节点重启时会被清除，并且您所写入的所有文件都会计入容器的内存消耗，受容器内存限制约束。

• 如果文件超过sizeLimit，则一段时间后（1-2分钟）会被kubelet evict(驱离)掉。之所以不是“立即”被evict，是因为kubelet是定期进行检查的，这里会有一个时间差。

• emptydir缺点：
  不能及时禁止用户使用内存。虽然过1-2分钟kubelet会将Pod挤出，但是这个时间内，其实对node还是有风险的；
  影响kubernetes调度，因为empty dir并不涉及node的resources，这样会造成Pod“偷偷”使用了node的内存，但是调度器并不知晓；
  用户不能及时感知到内存不可用

2.2 emptyDir卷示例配置

[root@server2 ~]# kubectl get pod
NAME    READY   STATUS    RESTARTS   AGE
mypod   1/1     Running   0          5h4m
[root@server2 ~]# kubectl delete pod mypod 
[root@server2 ~]# kubectl get pod
No resources found in default namespace.
[root@server2 ~]# mkdir volumes
[root@server2 ~]# cd volumes/
[root@server2 volumes]# vim emptydir.yaml  ##编写emptydir配置文件
apiVersion: v1
kind: Pod
metadata:
  name: vol1
spec:
  containers:
  - image: busyboxplus
    name: vm1
    stdin: true
    tty: true
    volumeMounts:
    - mountPath: /cache
      name: cache-volume
  - name: vm2
    image: myapp:v1
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: cache-volume
  volumes:
  - name: cache-volume
    emptyDir:
      medium: Memory
      sizeLimit: 100Mi
[root@server2 volumes]# kubectl apply -f emptydir.yaml
pod/vol1 created
[root@server2 volumes]# kubectl get pod
NAME   READY   STATUS    RESTARTS   AGE
vol1   2/2     Running   0          5s
[root@server2 volumes]# kubectl describe pod vol1

[root@server2 volumes]# kubectl get pod -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP             NODE      NOMINATED NODE   READINESS GATES
vol1   2/2     Running   0          69s   10.244.22.17   server4   <none>           <none>

[root@server2 volumes]# kubectl attach vol1 -c vm1 -it
If you don't see a command prompt, try pressing enter.
[ root@vol1:/ ]$ ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
3: eth0@if23: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1440 qdisc noqueue 
    link/ether 4a:d4:83:81:19:d2 brd ff:ff:ff:ff:ff:ff
    inet 10.244.22.17/32 brd 10.244.22.17 scope global eth0
       valid_lft forever preferred_lft forever
[ root@vol1:/ ]$ cd cache/
[ root@vol1:/cache ]$ ls
[ root@vol1:/cache ]$ echo www.westos.org > index.html
[ root@vol1:/cache ]$ curl localhost
www.westos.org
[ root@vol1:/cache ]$ Session ended, resume using 'kubectl attach vol1 -c vm1 -i -t' command when the pod is running
[root@server2 volumes]# curl 10.244.22.17
www.westos.org

2.3 文件超过sizelimit

[root@server2 volumes]# kubectl attach vol1 -c vm1 -it 
/ # cd cache/
/cache # ls
index.html
/cache # dd if=/dev/zero of=bigfile bs=1M count=200    ##设置超过限制的内存大小
200+0 records in
200+0 records out

[root@server2 volumes]# kubectl  get pod   ##查看是否转换成驱离状态
NAME   READY   STATUS    RESTARTS   AGE 
vol1   0/2     Evicted   0          7m34s

3. hostPath 卷

3.1 简介

• hostPath 卷能将主机节点文件系统上的文件或目录挂载到您的 Pod 中。 虽然这不是大多数 Pod 需要的，但是它为一些应用程序提供了强大的逃生舱。

• hostPath 的一些用法有：
  运行一个需要访问 Docker 引擎内部机制的容器,挂载 /var/lib/docker 路径。
  在容器中运行 cAdvisor(可以理解为监控) 时，以 hostPath 方式挂载 /sys。
  允许 Pod 指定给定的 hostPath 在运行 Pod 之前是否应该存在，是否应该创建以及应该以什么方式存在。

• 除了必需的 path 属性之外，用户可以选择性地为 hostPath 卷指定 type。

• 当使用这种类型的卷时要小心，因为：
  具有相同配置（例如从 podTemplate 创建）的多个 Pod 会由于节点上文件的不同而在不同节点上有不同的行为。(每个节点访问的是不同的资源，比如server3访问docker目录下的file1,server4访问docker目录下的file2)
  当 Kubernetes 按照计划添加资源感知的调度时，这类调度机制将无法考虑由 hostPath 使用的资源。(删除pod不影响hostpath下的内容，所以叫逃生仓)
  基础主机上创建的文件或目录只能由 root 用户写入。您需要在 特权容器 中以 root 身份运行进程，或者修改主机上的文件权限以便容器能够写入 hostPath 卷。

3.2 示例

[root@server2 volumes]# kubectl  delete pod vol1   ##删除前一个实验pod
[root@server2 volumes]# vim hostpath.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
  - image: myapp:v1
    name: vm1
    volumeMounts:
    - mountPath: /usr/share/nginx/html    ##将此路径挂载到/webdata
      name: test-volume
  volumes:
  - name: test-volume
    hostPath:
      path: /webdata
      type: DirectoryOrCreate    ##没有文件夹创建文件夹
[root@server2 volumes]# kubectl apply -f hostpath.yaml    ##应用
[root@server2 volumes]# kubectl  get pod       ##查看
[root@server2 volumes]# kubectl  get pod -o wide    ##查看挂载到哪个节点，这里是server4
NAME      READY   STATUS    RESTARTS   AGE   IP             NODE      NOMINATED NODE   READINESS GATES
test-pd   1/1     Running   0          14s   10.244.22.18   server4   <none>           <none>

##查看server4上是否存在/webdata，并书写测试文件
[root@server4 ~]# cd /webdata/
[root@server4 webdata]# echo www.westos.org > index.html
[root@server4 webdata]# cat index.html 
www.westos.org

##测试
[root@server2 volumes]# curl 10.244.22.18
www.westos.org
[root@server2 volumes]# kubectl delete -f hostpath.yaml  ##删除之后server4上的/webdata文件仍然存在，所以称为逃生仓

4. NFS

## 1. 书写配置文件
[root@server2 volumes]# vim nfs.yaml    
apiVersion: v1
kind: Pod
metadata:
  name: nfs-pd
spec:
  containers:
  - image: myapp:v1
    name: vm1
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: test-volume
  volumes:
  - name: test-volume
    nfs:
      server: 192.168.0.1
      path: /nfsdata

## 2. 192.168.0.1主机配置nfs
[root@server1 ~]# mkdir /nfsdata
[root@server1 ~]# cd /nfsdata/
[root@server1 nfsdata]# yum install nfs-utils -y   ##将server1作为nfs，需要下载nfs服务
[root@server1 nfsdata]# vim /etc/exports
[root@server1 nfsdata]# cat /etc/exports
/nfsdata	*(rw,no_root_squash)
[root@server1 nfsdata]# systemctl enable --now nfs
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.
[root@server1 nfsdata]# showmount -e
Export list for server1:
/nfsdata *


## 3.查看分配到哪个节点，并在该节点安装nfs
[root@server2 volumes]# kubectl apply -f nfs.yaml 
[root@server2 volumes]# kubectl get pod -o wide 
NAME     READY   STATUS              RESTARTS   AGE   IP       NODE      NOMINATED NODE   READINESS GATES
nfs-pd   0/1     ContainerCreating   0          20s   <none>   server4   <none> 
[root@server2 volumes]# kubectl  describe pod nfs-pd 

[root@server4 webdata]# yum install nfs-utils -y 
[root@server2 volumes]# kubectl  get pod   #安装之后运行成功
NAME     READY   STATUS    RESTARTS   AGE
nfs-pd   1/1     Running   0          4m19s
[root@server2 volumes]# kubectl  get pod -o wide
NAME     READY   STATUS    RESTARTS   AGE     IP             NODE      NOMINATED NODE   READINESS GATES
nfs-pd   1/1     Running   0          4m22s   10.244.22.19   server4   <none>           <none>

## 4. 测试
[root@server1 nfsdata]# echo www.westos.org > index.html
[root@server2 volumes]# curl 10.244.141.207
www.westos.org