目录
一、cgroups简介
cgroups 是Linux内核提供的一种可以限制单个进程或者多个进程所使用资源的机制,可以对 cpu,内存等资源实现精细化的控制,目前越来越火的轻量级容器 Docker 就使用了 cgroups 提供的资源限制能力来完成cpu,内存等部分的资源控制。
另外,开发者也可以使用 cgroups 提供的精细化控制能力,限制某一个或者某一组进程的资源使用。比如在一个既部署了前端 web 服务,也部署了后端计算模块的八核服务器上,可以使用 cgroups 限制 web server 仅可以使用其中的六个核,把剩下的两个核留给后端计算模块。
cgroups的四大功能:
- 资源限制:可以对任务使用的资源总额进行限制。
- 优先级分配:通过分配的cpu时间片数量以及磁盘IO带宽大小,实际上相当于控制了任务运行优先级。
- 资源统计:可以统计系统的资源使用量,如cpu时长,内存用量等。
- 任务控制: cgroup可以对任务 执行挂起、恢复等操作。
二、cpu时间片的概念
时间片即CPU分配给各个程序的时间,每个线程被分配一个时间段,称作它的时间片,即该进程允许运行的时间,使各个程序从表面上看是同时进行的。如果在时间片结束时进程还在运行,则CPU将被剥夺并分配给另一个进程。如果进程在时间片结束前阻塞或结束,则CPU当即进行切换。而不会造成CPU资源浪费。
宏观上:我们可以同时打开多个应用程序,每个程序并行不悖,同时运行。但在微观上:由于只有一个CPU,一次只能处理程序要求的一部分,如何处理公平,一种方法就是引入时间片,每个程序轮流执行。
三、对CPU使用的限制
1、设置CPU使用率上限
Linux通过CFS (Completely Fair Scheduler, 完全公平调度器)来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。
我们可以设置每个容器进程的调度周期,以及在这个周期内各个容器最多能使用多少CPU时间。
注:
使用 --cpu-period 即可设置调度周期,使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
CFS周期的有效范围是1ms ~ 1s, 对应的 --cpu-period 的数值范围是 1000 ~1000000 (单位微秒)。
而容器的CPU配额必须不小于1ms,即 --cpu-quota 的值必须 >= 1000。
查看容器的默认CPU使用限制
进行压力测试
创建容器时设置CPU使用时间限制
对已存在的容器进行CPU限制
直接修改 /sys/fs/cgroup/cpu/docker/容器id/cpu.cfs_quota_us 文件即可
2、设置CPU资源占用比
创建两个容器,设置CPU资源占用比
注:Docker 通过 --cpu-shares 指定CPU份额,默认值为1024,值为1024的倍数
分别进入两个容器,进行压力测试
查看容器运行状态,观察CPU使用占比
四、对内存使用的限制
1、限制容器可以使用的最大内存
docker run -itd --name tan3 -m 512m centos:7 /bin/bash
#-m(--memory=)选项用于限制容器可以使用的最大内存
2、限制容器可用的swap 大小
docker run -itd --name tan3 -m 512m --memory-swap=1g centos:7 bash
#限制可用的swap 大小,--memory-swap
注:--memory-swap是必须要与 --memory(或-m)一起使用的
正常情况下, --memory-swap 的值包含容器可用内存和可用swap
所以 -m 512m --memory-swap=1g 的含义为:容器可以使用512M 的物理内存,并且可以使用512M (1G - 512M)的swap
设置为0或者不设置,则容器可以使用的 swap 大小为 -m 值的两倍。
如果 --memory-swap 的值和 -m 值相同,则容器不能使用swap。
如果 --memory-swap 值为 -1,它表示容器程序使用的内存受限,而可以使用的swap空间使用不受限制(宿主机有多少swap 容器就可以使用多少)
五、对磁盘IO的配置控制(blkio)的限制
--device-read-bps:限制某个设备上的读速度bps ( 数据量),单位可以是kb、mb (M)或者gb。
--device-write-bps : 限制某个设备上的写速度bps ( 数据量),单位可以是kb、mb (M)或者gb。
--device-read-iops :限制读某个设备的iops (次数)
--device-write-iops :限制写入某个设备的iops ( 次数)
1、创建容器,不限制写速度
docker run -it --name tt1 centos:7 /bin/bash
#创建容器tt1,不限制写入速度
dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct
#通过dd来验证写速度,拷贝50M的数据
2、创建容器,并限制写速度
docker run -it --name tt2 --device-write-bps /dev/sda:1mb centos:7 bash
#创建容器,并限制写入速度为1MB/s
六、清除docker占用的磁盘空间
docker system prune -a
#用于清理磁盘,删除关闭的容器、无用的数据卷和网络
七、总结
1、对cpu的限制参数
docker run -cpu-period #设置调度周期时间1000~1000000
-cpu-quota #设置容器进程的CPU占用时间,要与调度周期时间成比例
--cpu-shares #设置多个容器之间的CPU资源占用比
--cpuset-cpus #绑核(第一个CPU编号从0开始)
2、对内存的限制
-m 物理内存 [--memory-swap=总值]
3、对磁盘IO的限制
--device-read-bps 设备文件:1mb/1M #限制读速度
--device-write-bps 设备文件:1mb/1M #限制写速度
--device-read-iops #限制读次数
--device-write-iops #限制写次数
docker system prune -a #清理磁盘,删除关闭的容器、无用的数据卷和网络。