一、常用函数

Prometheus为不同的数据提供了非常多的计算函数，其中有个小技巧就是遇到counter数据类型，在做任何操作之前，先套上一个rate()或者increase()函数。下面是一些比较常用的函数：

1、rate函数

rate() 函数是专门搭配counter数据类型使用函数，功能是取counter在这个时间段中平均每秒的增量。例如：获取eth0网卡1m内每秒流量的平均值

rate(node_network_receive_bytes_total{device="eth0"}[1m])

2、increase函数

increase() 函数表示某段时间内数据的增量，rate() 函数则表示某段时间内数据的平均值；两个函数如何选取使用？

当我们获取数据比较精细的时候类似于1m取样推荐使用rate()
当我们获取数据比较粗糙的时候类似于5m，10m甚至更长时间取样推荐使用increase()

例如：获取eth0网卡1m内流量的增量

increase(node_network_receive_bytes_total{device="eth0"}[1m])

3、sum函数

sum()函数就是求和函数，注意点是当你使用sum后是将所有的监控的服务器的值进行取和，所以当我们只看某一台时需要进行拆分。

拆分常用方法：

by increase()
by (cluster_name) 属于自定义标签不是标准标签，我们可以手动将不痛功能的服务器进行分组展示

例如：获取所有主机eth0网卡1m内每秒流量的平均值的和

sum(rate(node_network_receive_bytes_total{device="eth0"}[1m]))

4、topk函数

topk() 函数的定义是：取前面x位的最高值，最简单理解就是数学的top3 ，当我们有很多服务器我们想要获取某个key的数据排在前3位的服务器。

Gauge类型使用方式：

topk(3,key)

Counter类型使用方式：

topk(3,rate(key[1m]))

注意：此种函数获得数据并不是很适用图形化展示

5、count函数

count() 是找出当前或者历史数据中某个key的数值大于或小于某个值的统计，

例如：

count(node_netstat_Tcp_CurrEstab >50)

6、irate函数

irate(v range-vector)计算范围向量中时间序列的每秒即时增长率。这基于最后两个数据点。单调性中断（例如由于目标重启而导致的计数器重置）会自动调整。

例如：5m内http请求的每秒速率

irate(http_requests_total{job="linux-01"}[5m])

irate只应在绘制易失性快速移动计数器时使用。使用rate警报和缓慢移动的柜台，因为在房价短暂变化可以重设FOR条款和图表完全由罕见尖峰难以阅读。

注意，当irate()与聚合运算符（例如sum()）或随时间聚合的函数（以任何结尾的函数_over_time）组合时，总是先取irate()第一个，然后聚合。否则irate()在目标重启时无法检测到计数器重置。

二、CPU使用率的计算方法

1、CPU模式

一颗CPU要通过分时复用的方式运行于不同的模式中，这些模式可以用我们常用的top命令进行查看，其中包括：

us：用户进程使用cpu的时间
sy：内核进程使用cpu的时间
ni：用户进程空间内改变过优先级的进程使用的cpu时间
id：空闲（没人用）的cpu时间
wa：等待io的cpu时间
hi：硬中断的cpu时间
si：软中断的cpu时间
st：虚拟机管理程序使用的cpu时间

这些时间加在一起是总的cpu时间。

2、CPU时间

通过node-exporter抓取的指标中cpu相关主要是各个node_cpu_seconds_total，可以通过如下的方式查看所有的metrics。

curl http://localhost:9100/metrics

在请求之后，会返回各种监控的内容，这里只截取出cpu相关的部分：

# HELP node_cpu_seconds_total Seconds the cpus spent in each mode.
# TYPE node_cpu_seconds_total counter
node_cpu_seconds_total{cpu="0",mode="idle"} 26659.41
node_cpu_seconds_total{cpu="0",mode="iowait"} 4.79
node_cpu_seconds_total{cpu="0",mode="irq"} 0
node_cpu_seconds_total{cpu="0",mode="nice"} 0
node_cpu_seconds_total{cpu="0",mode="softirq"} 2.69
node_cpu_seconds_total{cpu="0",mode="steal"} 0
node_cpu_seconds_total{cpu="0",mode="system"} 31.65
node_cpu_seconds_total{cpu="0",mode="user"} 8.67
node_cpu_seconds_total{cpu="1",mode="idle"} 26634.43
node_cpu_seconds_total{cpu="1",mode="iowait"} 54.14
node_cpu_seconds_total{cpu="1",mode="irq"} 0
node_cpu_seconds_total{cpu="1",mode="nice"} 0.02
node_cpu_seconds_total{cpu="1",mode="softirq"} 1.23
node_cpu_seconds_total{cpu="1",mode="steal"} 0
node_cpu_seconds_total{cpu="1",mode="system"} 34.07
node_cpu_seconds_total{cpu="1",mode="user"} 9
node_cpu_seconds_total{cpu="2",mode="idle"} 26629.89
node_cpu_seconds_total{cpu="2",mode="iowait"} 6.57
node_cpu_seconds_total{cpu="2",mode="irq"} 0
node_cpu_seconds_total{cpu="2",mode="nice"} 0
node_cpu_seconds_total{cpu="2",mode="softirq"} 1.95
node_cpu_seconds_total{cpu="2",mode="steal"} 0
node_cpu_seconds_total{cpu="2",mode="system"} 24.66
node_cpu_seconds_total{cpu="2",mode="user"} 7.2
node_cpu_seconds_total{cpu="3",mode="idle"} 26699.96
node_cpu_seconds_total{cpu="3",mode="iowait"} 5.72
node_cpu_seconds_total{cpu="3",mode="irq"} 0
node_cpu_seconds_total{cpu="3",mode="nice"} 0.01
node_cpu_seconds_total{cpu="3",mode="softirq"} 1.27
node_cpu_seconds_total{cpu="3",mode="steal"} 0
node_cpu_seconds_total{cpu="3",mode="system"} 22.32
node_cpu_seconds_total{cpu="3",mode="user"} 7.33

上面的某一行就是某一核cpu的某个模式的运行时间，单位是秒。把某一核各个模式的cpu时间加起来就是执行uptime得到的系统开机以来运行运行的总的秒数了。例如：

node_cpu_seconds_total{cpu="0",mode="idle"} 26659.41

这个值的意思是从系统开机到现在为止，cpu0的空闲时间是26659.41秒。用它除以uptime就是开机以来cpu0的空闲率。

3、推导CPU使用率的公式

1）cpu0 5分钟内处于空闲状态的时间

increase(node_cpu_seconds_total{cpu="0",mode="idle"}[5m])

increase表示增量，所以这个公式表示的是当前时间点的node_cpu_seconds_total减去5分钟之前的node_cpu_seconds_total的值，也就是这5分钟内处于idle状态的cpu时间。

2）cpu0 5分钟内处于空闲状态的时间占比

increase(node_cpu_seconds_total{cpu="0",mode="idle"}[5m]) / increase(node_cpu_seconds_total{cpu="0"}[5m])

3）一台主机所有cpu 5分钟内处于空闲状态的时间占比

sum (increase(node_cpu_seconds_total{mode="idle"}[5m])) / sum (increase(node_cpu_seconds_total{}[5m]))

4）如果 Prometheus 监控多台主机，要根据每台主机做 sum

sum (increase(node_cpu_seconds_total{mode="idle"}[5m]))  by (instance) / sum (increase(node_cpu_seconds_total[5m])) by (instance)

5）cpu使用率 = 1 - cpu空闲率

100 * (1 - sum (increase(node_cpu_seconds_total{mode="idle"}[5m]))  by (instance) / sum (increase(node_cpu_seconds_total[5m])) by (instance))

6）根据irate()函数，可以简化计算公式为

100 - (avg(irate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance) * 100)

三、常用计算公式

1、CPU使用率

100 - (avg(irate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance) * 100)

2、空闲内存剩余率

(node_memory_MemFree_bytes+node_memory_Cached_bytes+node_memory_Buffers_bytes) / node_memory_MemTotal_bytes * 100

3、内存使用率

100 - (node_memory_MemFree_bytes+node_memory_Cached_bytes+node_memory_Buffers_bytes) / node_memory_MemTotal_bytes * 100

4、磁盘使用率

100 - (node_filesystem_free_bytes{mountpoint="/",fstype=~"ext4|xfs"} / node_filesystem_size_bytes{mountpoint="/",fstype=~"ext4|xfs"} * 100)

Prometheus函数