Prometheus监控实战(二)
标签（空格分隔）： Prometheus系列
[toc]
一、Prometheus的度量类型(metric types)
在学习Prometheus的常用函数前，我们得先知道Prometheus的几度量类型，然后才能使用
相应的函数来进行计算。不知道大家有没有注意到，Prometheus从exporter抓取的每一个指
标均是有注释度量类型的，例如，我们来查看node_exporter的度量指标，curl
http://xxx.xxx.xxx.xxx:9100/metrics。
1.1 Counter(计数器类型)
Counter类型的指标代表的是一种计数器，是随时间只增不减永远不会减少（除非系统或者服
务发生了重置）的。Counter一般用于累计值，例如记录请求次数，任务完成数、错误发生次
数；还可以计算其在一段时间范围内的增量和变化速率，如果是counter类型的数据，首先应
该想到是否要使用rate()或者increase()函数来计算其变化速率。
不是Counter类型的度量却当做Counter类型来计算，会得到一个错误的结果。例如，使用计
数器来计算当前正在运行的进程的数量；应该使用Gauge。
1.2 Gauge(仪表测量类型)
Gauge类型的指标值是可增可减的，可以用于反应当前应用的状态。比如在监控主机时，主机
当前的内存大小(node_meomory_MemFree)，可用内存大小
(node_memory_MemAvailable)。或者主机CPU使用率，内存使用率，温度等。1.3 Histogram(直方图类型)
Histogram是对数据进行采样的指标类型，用来展示数据集的频率分布。Histogram是表示数
值分布的图形，它将数值分组到一个一个的bucket当中，然后计算每个bucket中值出现次
数。在Histogram上，X轴表示表示数值的范围（例如人的身高/网站请求响应时间），Y轴表
示对应数值出现的频次（对应身高/响应时间出现的次数）。在直方图上，对于各数值出现的
次数，分布是否对称都显示的很清楚（对于这类数据如果只是简单的对数值取最小、最大或平
均是没有多大意义的）。统计学上有一个段子是说：一个统计学家非常自信地去趟一条平均深
度只有1米的河,后来他淹死了（类似把互联网大佬的身家和自己来平均一下）。这是取平均值
的一个严重缺陷。1.4 Summary(摘要类型)
Summary类型和Histogram类型相似，主要也用于表示一段时间内数据采样(通常是请求持续
时间或响应时间)结果，它直接存储了quantile(分位数)数据，而不是根据统计区间计算出来
的。
什么是分位数？大家可度娘一下。总之，分位数能更好地表示数值的分布，也可以找出异常数
值，便于优化。
Summary与Histogram相比，区别如下：
都包含 < basename>_sum和< basename>_count;
Histogram需要通过< basename>_bucket计算quantile，而Summary直接存储了 quantile
的值。
用例：
# 事件发生总的次数
# 事件产生的值的总和
# 事件产生的值的分布情况二、Prometheus查询语法
常用表达式：fun(metric_name{Instant vector selectors}[Range Vector Selectors])
Prometheus提供了一种名为PromQL (Prometheus查询语言)的功能查询语言，该语言允许
用户实时选择和聚合时间序列数据。查询的结果可以显示为图表，如在Prometheus本身内置
的Web控制台展示，又或者使用诸如Grafana数据展示工具。
1、瞬时向量选择器（Instant vector selectors）可以即时为每个度量选择一个样本值（最近
的一个值），最简单的形式就是只给定度量名称，这样将返回所有包含此度量名称的时间序列
元素的瞬时向量。可以通过在度量名称后的大括号{}中附加以逗号分隔的标签匹配器列表来进
一步筛选这些时间序列。
在PromQL中，使用以下符号对标签值进行正则匹配：
= （等于），标签的值必须相等，并且区分大小写。
!=（不等于），标签的值必须不相等，并且区分大小写。
=~（模糊匹配），标签的值正则（模糊）匹配。
!~（模糊匹配取反），标签的值正则（模糊）匹配后取反。
2、范围向量选择器（Range Vector Selectors）与瞬时向量类似，只是它从当前瞬间选择一
个样本范围。从语法上讲，范围向量所持续的时间是放在瞬时向量选择器末尾的中括号[]中，
用来获取指定的时间间隔内瞬时向量的所有值。
3、偏移修饰器（Offset modifier）
Offset 在瞬时/范围向量选择器中用于对过去一段时间的偏移计算，例如，计算5分钟前CPU的
空闲率
avg(irate(node_cpu_seconds_total{nodename=~"node01.flyfish", mode="idle"}[1m] offset
5m))
注意：offset 的使用范围是在：瞬时/范围向量选择器中
三、Prometheus常用函数
https://prometheus.io/docs/prometheus/latest/querying/functions/
1、increase()函数，该函数结合counter数据类型使用，获取区间向量中的第一个和最后一个
样本并返回其增长量。如果除以[区间]时间(秒)就可以获取该时间内的平均增长率。
# 获取近1分钟内网卡接收的字节数，如果不除以时间，则为区间内累计增量。
increase(node_network_receive_bytes_total{device=~"ens.*",nodename=~"node01.flyfish"}[1m])
2-1、rate()函数，该函数配置counter数据类型使用，用于获取在这个时间段内的平均每秒增
量。
# 通过rate()函数获取在1分钟时间内网卡每秒接收字节数，如果再乘以区间时间，则同
increase()函数。
rate(node_network_receive_bytes_total{device=~"ens.*",nodename=~"node01.flyfish"}
[1m])
以下查询结果同increase()函数。
rate(node_network_receive_bytes_total{device=~"ens.*",nodename=~"node01.flyfish"}
[1m]) * 60
2-2、irate()函数，用于计算指定时间范围内每秒瞬时增长率，是基于该时间范围内最后两个
数据点来计算。rate和irate函数都用于计算某个指标在一定时间间隔内的变化速率。但是它们
的计算方法有所不同：irate取的是在指定时间范围内的最后两个数据点来算速率，而rate会取
指定时间范围内所有数据点，算出一组速率，然后取平均值作为结果。
所以官网文档说：irate适合快速变化(fast-moving)的计数器（counter），而rate适合缓慢变
化(slow-moving)的计数器（counter）。3、sum()函数，在实际工作中CPU大多是多核心，而node_cpu_seconds_total会将每个核的
数据都单独显示出来，但我们关心的是CPU总的使用情况，因此可以使用sum()函数求和后得
出一条总的数据，
使用sum()函数获取实例在1分钟时间内，user在所有vCPU上的使用百分比之和
# sum(increase(node_cpu_seconds_total{nodename=~"node01.flyfish",mode="user"}
[1m])/60)
4、count()函数，该函数用于进行统计，或用来做一些模糊判断，比如判断服务器连接数大于
某个值，为真则返回1，否则返回null。
例如统计vCPU数
count(node_cpu_seconds_total{nodename="node01.flyfish",mode="idle"})
或者统计当前TCP建立连接数是否大于200
count(node_netstat_Tcp_CurrEstab{nodename=~"node01.flyfish"} >200 )
5、topk()函数，该函数可以从大量数据中取出排行前N的数值，N可以自定义。
# 例如从所有主机中找出近5分钟网卡流量排名前3的主机(Counter类型数据)。
topk(3,rate(node_network_receive_bytes_total{device=~'ens.*'}[5m]))
或者用increase
topk(3,increase(node_network_receive_bytes_total{device=~'ens.*'}[5m])/300)
# 例如从所有主机中找出连接数前3的主机(Gauge类型数据)。
topk(3,node_netstat_Tcp_CurrEstab) 
6、predict_linear()函数，根据前一个时间段的值来预测未来某个时间点数据的走势。例如，
我们可以用predict_linear()函数，根据近1天的磁盘使用来预测磁盘在未来2天增长情况，大
概在未来多长时间可以将磁盘占满。
predict_linear(node_filesystem_free_bytes{device="rootfs",nodename=~"node01.fyfish",mountpoint="/"}[1d],2*86400)
四：常用系统资源监控指标
user time(us) 表示CPU执行用户进程所消耗的时间。
system time(sy) 表示CPU在内核运行的时间，该值较大时表明系统存在瓶颈。
wait time(wa) 表示CPU在等待I/O操作完成所花费的时间，该值较大时表明系统I/O存在瓶
颈。
idle time(id) CPU处于空闲状态，等待进程运行。
nice time(ni) 表示在调整进程优先级时所花费CPU时间。
irq time(hi) 表示在处理硬中断时所花费CPU时间。
softirq time(si) 表示在处理软中断时所花费CPU时间。
steal time(st) 表示Hypervisor在为另一个虚拟处理器提供服务时，虚拟CPU等待实际CPU的
时间百分比。该种情况通常是在虚拟化或公有云环境存在CPU资源严重超卖的情况，多个虚拟
机抢占CPU激烈。1、cpu使用率监控(Unit: percent 0-100)
100 - (avg(irate(node_cpu_seconds_total{nodename=~"$hostname", mode="idle"}
[1m])) * 100)
同时还可以列出CPU其他使用指标，便于定位问题
avg(irate(node_cpu_seconds_total{nodename=~"node01.flyfish", mode="system"}[1m])) *
100
说明：在计算CPU使用率时，范围向量选择器时间间隔不能太大，例如取5分钟，就很有可能
会漏掉严重的抖动。
cpu个数
count(node_cpu_seconds_total{nodename="$hostname",mode="idle"})
-------------------------内存资源监控--------------------------------------------------
1、总内存(Unit: bytes)
node_memory_MemTotal_bytes{nodename=~"$hostname"}
2、可用内存(Unit: bytes)
node_memory_MemAvailable_bytes{nodename=~"$hostname"}
3、空闲内存(Unit: bytes)
node_memory_MemFree_bytes{nodename=~"$hostname"}
4、活动内存(Unit: bytes)
node_memory_Active_bytes{nodename=~"$hostname"}
5、使用内存(Unit: bytes)
node_memory_MemTotal_bytes{nodename=~"$hostname"} -
node_memory_MemAvailable_bytes{nodename=~"$hostname"}-------------------------系统负载监控--------------------------------------------------
1、系统1分钟负载监控
avg(node_load1{nodename=~"$hostname"})
2、系统5分钟负载监控
avg(node_load5{nodename=~"$hostname"})
3、系统5分钟负载监控
avg(node_load5{nodename=~"$hostname"})
-------------------------磁盘监控--------------------------------------------------
1、分区总容量(Unit: bytes)
node_filesystem_size_bytes{device=~"/dev/mapper/vg00-
lvroot",nodename=~"$hostname"}
2、磁盘空闲容量(Unit: bytes)
node_filesystem_free_bytes{device=~"/dev/mapper/vg00-
lvroot",nodename=~"$hostname"}
3、磁盘使用容量(Unit: bytes)
node_filesystem_size_bytes{device=~"/dev/mapper/vg00-
lvroot",nodename=~"$hostname"} -
node_filesystem_free_bytes{device=~"/dev/mapper/vg00-
lvroot",nodename=~"$hostname"}
3、磁盘每秒读(Unit: bytes/s)
irate(node_disk_read_bytes_total{nodename=~"$hostname"}[5m])
4、磁盘每秒读(Unit: bytes/s)
irate(node_disk_written_bytes_total{nodename=~"$hostname"}[5m])
5、磁盘读IO(Unit: IOPS)
irate(node_disk_reads_completed_total{nodename=~"$hostname"}[5m])
6、磁盘写(Unit: IOPS)
irate(node_disk_writes_completed_total{nodename=~"$hostname"}[5m])-------------------------网卡流量监控--------------------------------------------------
1、网卡每秒接收字节(Unit: bytes/sec)
rate(node_network_receive_bytes_total{device=~"ens.*",nodename=~"$hostname"}
[5m])
2、网卡每秒发送字节(Unit: bytes/sec)
rate(node_network_transmit_bytes_total{device=~"ens.*",nodename=~"$hostname"}
[5m])
3、网卡每秒接收错误字节(Unit: bytes/sec)
rate(node_network_receive_errs_total{device=~"ens.*",nodename=~"$hostname"}
[5m])
4、网卡每秒发送错误字节(Unit: bytes/sec)
rate(node_network_transmit_errs_total{device=~"ens.*",nodename=~"$hostname"}
[5m])
5、网卡每秒接收包个数(Unit: packets/sec)
rate(node_network_receive_packets_total{device=~"ens.*",nodename=~"$hostname"}
[5m])
6、网卡每秒发送包个数(Unit: packets/sec)
rate(node_network_transmit_packets_total{nodename=~"$hostname"}[5m])-------------------------socket连接监控--------------------------------------------------
1、状态为ESTABLISHED的个数
node_netstat_Tcp_CurrEstab{nodename=~'$hostname'}
2、状态为TIMEWAIT的个数
node_sockstat_TCP_tw{nodename=~'$hostname'}
总结：在使用Prometheus来计算各种指标时，使用的函数不同，得到的结果就会有偏差，正
所谓越灵活也就越复杂。