top或者uptime命令查看平均负载
$ uptime
03:44:21 up 4 days, 15:31, 1 user, load average: 0.63, 0.83, 0.76
03:44:21 // 当前时间
up 4 days, 15:31 // 系统运行时间
1 user // 正在登录用户数
load average: 0.63, 0.83, 0.76 //过去1分钟、5分钟、15分钟的平均负载
平均负载是什么？
平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数，它和CPU使用率并没有直接关系。
（平均活跃进程数，直观上的理解就是单位时间内的活跃进程数，但它实际上是活跃进程数的指数衰减平均值。这是系统的一种更快速的计算方式，把它直接当成活跃进程数的平均值也没问题）
比如平均负载为2
在只有2个cpu的系统上，意味着所有的cpu都刚好被完全占用；
在4个cpu的系统上，意味cpu有50%空闲；
而在只有1个cpu的系统中，则意味着有一半的进程竞争不到cpu
注：
可运行状态的进程：是指正在使用CPU或者正在等待CPU的进程（R状态）
不可中断状态的平均进程：正处于内核态关键流程中的进程，并且这些流程是不可打断的。（D状态）
比如最常见的是等待硬件设备的I/O响应。又比如一个进程向磁盘读写数据时，为了保证数据的一致性，在得到磁盘回复前，是不能被其他进程或者中断打断的，这个时候的进程就处于不可中断状态。如果此时的进程被打断了，就容易出现磁盘数据与进程数据不一致的问题。不可中断状态实际上是系统对进程和硬件设备的一种保护机制。
平均负载为多少时合理
平均负载最理想的情况等于cpu个数。
首先要知道系统有几个cpu，这可以通过top命令或者从文件/proc/cpuinfo中读取，如
grep 'model name' /proc/cpuinfo | wc -l
平均负载有3个数值都要看。三个不同时间间隔的平均值，给我们提供了分析系统负载趋势的数据来源。
比如1分钟的值远小于15分钟的值，就说明系统最近1分钟的负载在减少，而过去15分钟有很大的负载。
在实际生产环境中 ，当平均负载高于CPU数量70%的时候，就应该分析排查负载高的问题。一旦负载过高，就可能导致进程响应变慢，进而影响服务的正常功能。
但这个数字不绝对。最推荐还是把系统的平均负载监控起来，然后根据更多的历史数据，判断负载的变化趋势。当发现负载有明显升高趋势时，比如说负载翻倍了，再去做分析和调查。
平均负载与CPU利用率
平均负载高是否意味着cpu使用率高？
平均负载是指单位时间内，处于可运行状态和不可中断状态的进程数。所有，它不仅包括了正在使用cpu的进程，还包括等待cpu和等到I/O的进程。
CPU使用率，是单位时间内CPU繁忙情况的统计，跟平均负载并不一定完全对应。比如：
- CPU密集型进程，使用大量CPU会导致平均负载升高，此时这两者是一致的；
- I/O密集型进程，等待I/O也会导致平均负载升高，但CPU使用率不一定很高；
- 大量等待CPU的进程调度也会导致平均负载升高，此时的CPU使用率也会比较高
（平均负载高有可能是CPU密集型进程导致的；平均负载高并不一定代表CPU使用率高，还有可能是I/O更繁忙了）
平均负载案例分析
实验前准备
1机器配置：2CPU，8GB内存
2预先按照stress和sysstat包
stress是一个Linux系统压力测试工具，这里用作异常进程模拟平均负载升高的场景。
sysstat包含了常用的Linux性能工具，用来监控和分析系统的性能。我们会用到mpstat和pidstat。
- mpstat是一个常用的多核CPU性能分析工具，用来实时查看每个CPU的性能指标以及所有CPU的平均指标
- pidstat是一个常用的进程性能分析工具，用来实时查看进程的CPU、内存、I/O以及上下文切换等性能指标。
3可以先用uptime 看一下测试之前的平均负载
$ uptime
load average: 0.11, 0.15, 0.09
场景一：CPU密集型进程
stress 模拟——uptime查看平均负载——mpstat查看每个cpu使用率——pidstat查看具体进程使用率
#第一个终端：模拟一个CPU使用率100%的场景
$ stress --cpu 1 --timeout 600
#再开一个终端， -d 参数表示高亮显示变化的区域
$ watch -d uptime
..., load average: 1.00, 0.75, 0.39
#第三个终端 mpstat查看CPU使用率的变化情况
#-P ALL 表示监控所有CPU,后面数字5表示间隔5秒后输出一组数据
$ mpstat -P ALL 5
Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU)
13:30:06 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
13:30:11 all 50.05 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 49.95
13:30:11 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
13:30:11 1 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
从第二个终端看，1分钟的平均负载慢慢增加到1.00，在终端三亦可以看到有个CPU的使用率为100%，但它的iowait为0。说明平均负载升高由于CPU使用率为100%
\
# 间隔5秒后输出一组数据
$ pidstat -u 5 1 13:37:07 UID PID %usr %system %guest %wait %CPU CPU Command
13:37:12 0 2962 100.00 0.00 0.00 0.00 100.00 1 stress
可以看到stress进程的CPU使用率为100%
\
场景二：I/O密集型进程
stress 模拟——uptime查看平均负载——mpstat查看每个cpu使用率——pidstat查看具体进程使用率
#stress 模拟I/O压力，即不停地执行sync
$ stress -i 1 --timeout 600
#第二个终端
$ watch -d uptime
..., load average: 1.06, 0.58, 0.37
#第三个终端 #显示所有CPU的指标，并在间隔5秒输出一组数据
$ mpstat -P ALL 5 13
Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU) 13:41:28 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
13:41:33 all 0.21 0.00 12.07 32.67 0.00 0.21 0.00 0.00 0.00 54.84
13:41:33 0 0.43 0.00 23.87 67.53 0.00 0.43 0.00 0.00 0.00 7.74
13:41:33 1 0.00 0.00 0.81 0.20 0.00 0.00 0.00 0.00 0.00 98.99
1分钟平均负载慢慢到1.06，其中一个CPU系统的使用率23.87，iowait搞到67.53%，说明平均负载的升高是由于iowait的升高
# 间隔5秒后输出一组数据，-u 表示CPU指标
$ pidstat -u 5 1
Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU)
13:42:08 UID PID %usr %system %guest %wait %CPU CPU Command 13:42:13 0 104 0.00 3.39 0.00 0.00 3.39 1 kworker/1:1H
13:42:13 0 109 0.00 0.40 0.00 0.00 0.40 0 kworker/0:1H
13:42:13 0 2997 2.00 35.53 0.00 3.99 37.52 1 stress
13:42:13 0 3057 0.00 0.40 0.00 0.00 0.40 0 pidstat
可以发现，还是stress 进程导致的
场景三：大量进程的场景
stress 模拟——uptime查看平均负载——pidstat查看具体进程使用率
#stress 模拟8个进程，超出了CPU运行能力就会出现等待CPU的进程
$ stress -c 8 --timeout 600
#系统只有两个CPU
$ uptime
..., load average: 7.97, 5.93, 3.02
# 间隔5秒后输出一组数据
$ pidstat -u 5 1 14:23:25 UID PID %usr %system %guest %wait %CPU CPU Command
14:23:30 0 3190 25.00 0.00 0.00 74.80 25.00 0 stress
14:23:30 0 3191 25.00 0.00 0.00 75.20 25.00 0 stress
14:23:30 0 3192 25.00 0.00 0.00 74.80 25.00 1 stress
14:23:30 0 3193 25.00 0.00 0.00 75.00 25.00 1 stress
14:23:30 0 3194 24.80 0.00 0.00 74.60 24.80 0 stress
14:23:30 0 3195 24.80 0.00 0.00 75.00 24.80 0 stress
14:23:30 0 3196 24.80 0.00 0.00 74.60 24.80 1 stress
14:23:30 0 3197 24.80 0.00 0.00 74.80 24.80 1 stress
14:23:30 0 3200 0.00 0.20 0.00 0.20 0.20 0 pidstat
8个进程争抢2个CPU，每个进程等待CPU的时间（%wait列）高达75%