Monitoring with Prometheus读书笔记
原书见:
https://www.safaribooksonline.com/library/view/monitoring-with-prometheus/9780988820289/

摘录了一些内容,稍微整理了下,更详细的内容可以阅读原书.

简介

Prometheus灵感来源于谷歌的borgmon.
他的设计专注于最近发生的事,而不是几个星期几个月前的,默认只保存15天的时间序列.

内置PromQL查询语言,可以方便进行metric查询和定义新的metric.

数据格式

<time series name>{<label name>=<label value>, ...}

例子:

total_website_visits{site="MegaApp", location="NJ", instance="webserver",job="web"}

安装

安装过程比较简单,官网下载之后解压即可.
windows下可以使用choco安装:

choco install prometheus

也可以使用docker运行:

docker run -p 9090:9090 prom/prometheus

解压后自带一个配置文件,启动时带上文件路径即可:

prometheus --config.file "/etc/prometheus/prometheus.yml"

(放置在了/etc/prometheus下)

默认跑在9090端口.

监控容器和节点

节点(机器)监控可以使用node exporter.
下载node exporter 解压复制到可执行中

wget https://github.com/prometheus/node_exporter/releases/download/v0.16.0/node_exporter-0.16.0.linux-amd64.tar.gz
$ tar -xzf node_exporter-*
$ sudo cp node_exporter-*/node_exporter /usr/local/bin/

默认是9100端口,可以通过/metrics访问.
收集的数据较多,不需要的指标可以通过--no-模块名禁用,同时一些没有开启的模块可以通过--模块名开启.

容器监控可以使用cadvisor

docker run \
  --volume=/:/rootfs:ro \
  --volume=/var/run:/var/run:rw \
  --volume=/sys:/sys:ro \
  --volume=/var/lib/docker/:/var/lib/docker:ro \
  --volume=/dev/disk/:/dev/disk:ro \
  --publish=8080:8080 \
  --detach=true \
  --name=cadvisor \
  google/cadvisor:latest

监听在8080端口.

对应的Prometheus配置修改:

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']
  - job_name: 'node'
    static_configs:
      - targets: ['138.197.26.39:9100', '138.197.30.147:9100', '138.197.30.163:9100']
  - job_name: 'docker'
    static_configs:
      - targets: ['138.197.26.39:8080', '138.197.30.147:8080', '138.197.30.163:8080']

(ip等信息写在targets中)

Label

注意改变一个label或增加一个新的label会创建一个新的time series.

对收集的metrics的label进行操作.
可以去掉不必要的metrics和label,增加编辑label.

有两个阶段可以修改:

relabel_configs:用来修改服务发现过来的元数据label.
metric_relabel_configs:获得数据存储到磁盘之前操作

如图所示:

一些配置(和job_name平级):

metric_relabel_configs:
  - source_labels: [__name__]
    separator: ','
    regex: '(container_tasks_state|container_memory_failures_total)'
    action: drop

__name__是metrics的保留label,表示这个metric的名字,这里将这些名字用,拼起来,过滤掉符合正则的名字的metrics.

metric_relabel_configs:
- source_labels: [id]
  regex: '/docker/([a-z0-9]+);'
  replacement: '$1'
  target_label: container_id

替换掉id符合正则的内容产生另一个名为container_id的label.
此外有一个honor_labels的参数可以控制替换后的label和现有重名的问题,默认为false,现有的冲突会加上exported_的前缀.设置为true,会忽略该替换的label.

metric_relabel_configs:
  - regex: 'kernelVersion'
    action: labeldrop

移除掉现有符合正则的label.

Metrics

CPU利用率

使用node_cpu_seconds_total
如图:

计算5min为取样每秒的瞬时利用率

100 - avg (irate(node_cpu_seconds_total{job="node",mode="idle"}[5m])) by (instance) * 100

5m是range vector,表示使用记录的上一个5分钟的数据.
irate是瞬时变化率,适合变化较频繁的metric.
avg是因为有多个metrics(分别是每核的)

CPU饱和度

node_load*
后面的*有1 5 15,表示多少分钟.
该metric和核数有关,查看核数可以使用:

count by (instance)(node_cpu_seconds_total{mode="idle"})

内存使用

node_memory_*
列出空闲内存

(node_memory_MemTotal_bytes - (node_memory_MemFree_bytes + node_memory_Cached_bytes + node_memory_Buffers_bytes)) / node_memory_MemTotal_bytes * 100

内存饱和度

监控paging in和paging out的内存
/proc/vmstat
node_vmstat_pswpin
node_vmstat_pswpout
单位是KB

1024 * sum by (instance) (
       (rate(node_vmstat_pgpgin[1m])
       + rate(node_vmstat_pgpgout[1m]))
)

算出每分钟的变化量
rate是平均变化率,相比irate适合变化幅度不剧烈的数据.

磁盘使用率

node_filesystem_*
使用率:

(node_filesystem_size_bytes{mountpoint="/"} - node_filesystem_free_bytes{mountpoint="/"}) / node_filesystem_size_bytes{mountpoint="/"} * 100

可以用=~匹配正则相对的有!~

predict_linear(node_filesystem_free_bytes{job="node"}[1h], 4*3600) < 0

通过1h的估计量看看4h后是否会用完

exporter的可用性监控

可以使用up.

up{job="node"}

返回1表示node_exporter存活.

持久化Query

除了直接查询,query还可以在其他场合持久化使用:

Recording rule - 通过query创建新的metrics
Alerting rules - 生成报警
Visualization - 可视化

设置prometheus.yml的rules_files块,增加一个新的rule:

rule_files:
  - "rules/node_rules.yml"

对应的该文件内容如下:

groups:
- name: node_rule
  rules:
  - record: instance:node_cpu:avg_rate5m
    expr: 100 - avg (irate(node_cpu_seconds_total{job="node",mode="idle"}[5m])) by (instance) * 100

配置文件修改后可以使用promtool的对应命令,比如promtool check rules node_rules.yml进行检查.

可以在Prometheus上通过/rules查看:

可视化

使用grafana
centos下安装:

wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.2.2-1.x86_64.rpm 
sudo yum localinstall grafana-5.2.2-1.x86_64.rpm

配置在/etc/grafana/grafana.ini.
通过sudo service grafana-server start启动服务.
默认使用3000端口.
默认用户名和密码在配置文件,为admin:admin.
登陆后增加数据源选择Prometheus即可.
然后可以新增dashboard,配置对应的查询: