データベースプロメテウスのタイミング
著者:Lijb
Emali:[email protected]
プロメテウスについて
プロメテウスは、オープンソース・フレームワーク警報監視システムです。これは、オープンソースプロジェクトのコミュニティとして開発され、2015年にリリースされ、SoundCloudがの仕事をgoogleの元従業員によって2012年に作成されたGoogleのborgmon監視システム、触発されています。2016は、プロメテウスは正式にプロジェクトが唯一Kubernetesの人気になってきた第二、クラウドコンピューティングのネイティブ財団に参加しました。
監視フレームワークの新世代として、プロメテウスは、以下の特性を有します。
- パワフルな多次元データモデル:
- 時系列データとメトリック名のペアで区別。
- すべてのメトリックは、任意の多次元のラベルを設定することができます。
- よりランダムなデータモデルは、意図的にドットで区切られた文字列に設定されていません。
- 重合は、データ・モデルの操作を切断し、スライス、行うことができます。
- 倍精度浮動小数点型のサポートは、ラベルが完全なUnicodeに設定することができます。
- 柔軟かつ強力なクエリ(PromQL):同じクエリにおける乗算のメトリック複数の添加、接続、および他のできる操作の小数ビットをフェッチします。
- 簡単に管理する:プロメテウスサーバーが単一のバイナリファイルである、あなたは、分散ストレージに依存しない、ローカルで直接作業することができます。
- 効率的:わずか3.5バイト各サンプリング点の平均、及びメトリックの何百万人を処理することができるプロメテウス・サーバ。
- プルモードの取得時系列データを使用して、そのマシンをテストするだけでなく、助長し、問題のあるサーバーが悪いメトリクスを押して回避。
- プッシュ・ゲートウェイは、プロメテウスサーバ側へデータをプッシュするために時系列的に使用することができます。
- ターゲットを取得するには、サービス発見や静的な構成を通して監視することができます。
- 視覚的なグラフィカルインタフェースの様々なものがあります。
- 容易に拡張。
データ収集のためには、データを収集するためのプロメテウスNA 100%正確場合ので、失われる可能性があることに留意すべきです。しかし、時系列データのレコードは、プロメテウスはほかに大きな利点の問い合わせを、持っている場合、マイクロアーキテクチャのサービスに適用プロメテウス。
プロメテウス組成およびアーキテクチャ
任意成分であり、その多くの構成要素を複数備えプロメテウスエコシステム:
- サーバーのプロメテウス:時系列データを収集し、保存するため。
- ライブラリー・クライアント:クライアントライブラリは、サービスとプロメテウスサーバに晒さを監視する必要性のための適切なメトリックを生成します。プロメテウスサーバは、直接リターンメトリクスのリアルタイムステータスを引っ張るとき。
- ゲートウェイプッシュ:主に短期の仕事のために使用。そのため、このようなジョブの存在を短時間で、おそらくプロメテウスの前に姿を消し引っ張ります。このため、ジョブはプロメテウスサーバ側に直接そのメトリックをプッシュすることができます。このアプローチは、主にマシンレベルmetricesため、サービスレベル指標のために使用され、ノードエクスポータを使用する必要があります。
- 輸出:プロメテウスに既存のサードパーティのサービスメトリックを露出させます。
- AlertManager:プロメテウスサーバからのアラートを受信した後、除去は、データパケットを複製し、ルート受信受入実施形態、アラーム。一般的な受信方法は次のとおりである:電子メール、pagerduty、OpsGenie、ウェブフックと。
- いくつかの他のツール。
図1は、プロメテウスの公式文書の概略図です。
図1.プロメテウスチャート
从上图可以看出,Prometheus 的主要模块包括:Prometheus server, exporters, Pushgateway, PromQL, Alertmanager 以及图形界面。
其大概的工作流程是:
- Prometheus server 定期从配置好的 jobs 或者 exporters 中拉 metrics,或者接收来自 Pushgateway 发过来的 metrics,或者从其他的 Prometheus server 中拉 metrics。
- Prometheus server 在本地存储收集到的 metrics,并运行已定义好的 alert.rules,记录新的时间序列或者向 Alertmanager 推送警报。
- Alertmanager 根据配置文件,对接收到的警报进行处理,发出告警。
- 在图形界面中,可视化采集数据。
Prometheus 相关概念
下面将对 Prometheus 中的数据模型,metric 类型以及 instance 和 job 等概念进行介绍,以便读者在 Prometheus 的配置和使用中可以有一个更好的理解。
数据模型
Prometheus 中存储的数据为时间序列,是由 metric 的名字和一系列的标签(键值对)唯一标识的,不同的标签则代表不同的时间序列。
- metric 名字:该名字应该具有语义,一般用于表示 metric 的功能,例如:http_requests_total, 表示 http 请求的总数。其中,metric 名字由 ASCII 字符,数字,下划线,以及冒号组成,且必须满足正则表达式 [a-zA-Z_:][a-zA-Z0-9_:]*。
- 标签:使同一个时间序列有了不同维度的识别。例如 http_requests_total{method=“Get”} 表示所有 http 请求中的 Get 请求。当 method=“post” 时,则为新的一个 metric。标签中的键由 ASCII 字符,数字,以及下划线组成,且必须满足正则表达式 [a-zA-Z_:][a-zA-Z0-9_:]*。
- 样本:实际的时间序列,每个序列包括一个 float64 的值和一个毫秒级的时间戳。
- 格式:{
四种 Metric 类型
Prometheus 客户端库主要提供四种主要的 metric 类型:
Counter
- 一种累加的 metric,典型的应用如:请求的个数,结束的任务数, 出现的错误数等等。
例如,查询 http_requests_total{method=“get”, job=“Prometheus”, handler=“query”} 返回 8,10 秒后,再次查询,则返回 14。
Gauge
- 一种常规的 metric,典型的应用如:温度,运行的 goroutines 的个数。
- 可以任意加减。
例如:go_goroutines{instance=“172.17.0.2”, job=“Prometheus”} 返回值 147,10 秒后返回 124。
Histogram
- 可以理解为柱状图,典型的应用如:请求持续时间,响应大小。
- 可以对观察结果采样,分组及统计。
例如,查询 http_request_duration_microseconds_sum{job=“Prometheus”, handler=“query”} 时,返回结果如下:
图 2. Histogram metric 返回结果图
Summary
- 类似于 Histogram, 典型的应用如:请求持续时间,响应大小。
- 提供观测值的 count 和 sum 功能。
- 提供百分位的功能,即可以按百分比划分跟踪结果。
instance 和 jobs
instance: 一个单独 scrape 的目标, 一般对应于一个进程。
jobs: 一组同种类型的 instances(主要用于保证可扩展性和可靠性),例如:
1. job 和 instance 的关系
`job: api-server` ` ``instance 1: 1.2.3.4:5670`` ``instance 2: 1.2.3.4:5671`` ``instance 3: 5.6.7.8:5670`` ``instance 4: 5.6.7.8:5671`
当 scrape 目标时,Prometheus 会自动给这个 scrape 的时间序列附加一些标签以便更好的分别,例如: instance,job。
下面以实际的 metric 为例,对上述概念进行说明。
图 3. Metrics 示例
如上图所示,这三个 metric 的名字都一样,他们仅凭 handler 不同而被标识为不同的 metrics。这类 metrics 只会向上累加,是属于 Counter 类型的 metric,且 metrics 中都含有 instance 和 job 这两个标签。
Node exporter 安装
为了更好的演示 Prometheus 从配置,到监控,到报警的功能,本实例将引入本机 ubuntu server 的监控。由于 Prometheus 主要用于监控 web 服务,如果需要监控 ubuntu server,则需要在本机上安装 node exporter。 Node exporter 主要用于暴露 metrics 给 Prometheus,其中 metrics 包括:cpu 的负载,内存的使用情况,网络等。
安装 node export 首先需要从 github 中下载最新的 node exporter 包,放在指定的目录并解压安装包,在本实例中,放在 /home/lilly/prom/exporters/ 中。
2. 安装 Node exporter
`cd /home/lilly/prom/exporters/``wget https://github.com/prometheus/node_exporter/releases/download/v0.14.0/node_exporter-0.14.0.linux-amd64.tar.gz``tar -xvzf node_exporter-0.14.0.linux-amd64.tar.gz`
为了更好的启动和停止 node exporter,可以把 node exporter 转换为一个服务。
3. 配置 node exporter 为服务
`vim /etc/init/node_exporter.conf``#Prometheus Node Exporter Upstart script`` ``start on startup`` ``script`` ``/home/lilly/prom/exporters/node_exporter/node_exporter`` ``end script`
此时,node exporter 已经是一个服务,可以直接用 service 命令进行启停和查看。
4. 查看 node exporter 状态
`root@ubuntu1404-dev:~/alertmanager# service node_exporter start``node_exporter start/running, process 11017``root@ubuntu1404-dev:~/alertmanager# service node_exporter status``node_exporter start/running, process 11017``此时,node exporter 已经监听在 9100 端口。``root@ubuntu1404-dev:~/prom# netstat -anp | grep 9100``tcp6 0 0 :::9100 :::* LISTEN 155/node_exporter`
当 node exporter 启动时,可以通过 curl http://localhost:9100/metrics 或者在浏览器中查看 ubuntu server 里面的 metrics,部分 metrics 信息如下:
5. 验证 node exporter
`root@ubuntu1404-dev:~/prom# curl http://localhost:9100/metrics``……``# HELP node_cpu Seconds the cpus spent in each mode.``# TYPE node_cpu counter``node_cpu{cpu="cpu0",mode="guest"} 0``node_cpu{cpu="cpu0",mode="idle"} 30.02``node_cpu{cpu="cpu0",mode="iowait"} 0.5``node_cpu{cpu="cpu0",mode="irq"} 0``node_cpu{cpu="cpu0",mode="nice"} 0``node_cpu{cpu="cpu0",mode="softirq"} 0.34``node_cpu{cpu="cpu0",mode="steal"} 0``node_cpu{cpu="cpu0",mode="system"} 5.38``node_cpu{cpu="cpu0",mode="user"} 11.34``# HELP node_disk_bytes_read The total number of bytes read successfully.``# TYPE node_disk_bytes_read counter``node_disk_bytes_read{device="sda"} 5.50009856e+08``node_disk_bytes_read{device="sr0"} 67584``# HELP node_disk_bytes_written The total number of bytes written successfully.``# TYPE node_disk_bytes_written counter``node_disk_bytes_written{device="sda"} 2.0160512e+07``node_disk_bytes_written{device="sr0"} 0``# HELP node_disk_io_now The number of I/Os currently in progress.``# TYPE node_disk_io_now gauge``node_disk_io_now{device="sda"} 0``node_disk_io_now{device="sr0"} 0``# HELP node_disk_io_time_ms Total Milliseconds spent doing I/Os.``# TYPE node_disk_io_time_ms counter``node_disk_io_time_ms{device="sda"} 3484``node_disk_io_time_ms{device="sr0"} 12``……``# HELP node_memory_MemAvailable Memory information field MemAvailable.``# TYPE node_memory_MemAvailable gauge``node_memory_MemAvailable 1.373270016e+09``# HELP node_memory_MemFree Memory information field MemFree.``# TYPE node_memory_MemFree gauge``node_memory_MemFree 9.2403712e+08``# HELP node_memory_MemTotal Memory information field MemTotal.``# TYPE node_memory_MemTotal gauge``node_memory_MemTotal 2.098388992e+09``……``# HELP node_network_receive_drop Network device statistic receive_drop.``# TYPE node_network_receive_drop gauge``node_network_receive_drop{device="docker0"} 0``node_network_receive_drop{device="eth0"} 0``node_network_receive_drop{device="eth1"} 0``node_network_receive_drop{device="lo"} 0`
Prometheus 安装和配置
Prometheus 可以采用多种方式安装,本文直接用官网的 docker image(prom/prometheus)启动一个 Prometheus server, 并配置相应的静态监控 targets,jobs 和 alert.rules 文件。
启动 Prometheus 容器,并把服务绑定在本机的 9090 端口。命令如下:
6. 安装 Prometheus
`docker run -d -p 9090:9090 \`` ``-v $PWD/prometheus.yml:/etc/prometheus/prometheus.yml \`` ``-v $PWD/alert.rules:/etc/prometheus/alert.rules \`` ``--name prometheus \`` ``prom/prometheus \`` ``-config.file=/etc/prometheus/prometheus.yml \`` ``-alertmanager.url=http://10.0.2.15:9093`
其中 Prometheus 的配置文件 prometheus.yml 内容为:
7. Prometheus.yml 配置文件
global: # 全局设置,可以被覆盖 scrape_interval: 15s # 默认值为 15s,用于设置每次数据收集的间隔
external_labels: # 所有时间序列和警告与外部通信时用的外部标签 monitor: 'codelab-monitor'
rule_files: # 警告规则设置文件 - '/etc/prometheus/alert.rules'
# 用于配置 scrape 的 endpoint 配置需要 scrape 的 targets 以及相应的参数 scrape_configs: # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config. - job_name: 'prometheus' # 一定要全局唯一, 采集 Prometheus 自身的 metrics
# 覆盖全局的 scrape_interval scrape_interval: 5s
static_configs: # 静态目标的配置 - targets: ['172.17.0.2:9090']
- job_name: 'node' # 一定要全局唯一, 采集本机的 metrics,需要在本机安装 node_exporter
scrape_interval: 10s
static_configs: - targets: ['10.0.2.15:9100'] # 本机 node_exporter 的 endpoint
alert 规则文件的内容如下:
8. alert.rules 配置文件
# Alert for any instance that is unreachable for >5 minutes.
ALERT InstanceDown # alert 名字
IF up == 0 # 判断条件
FOR 5m # 条件保持 5m 才会发出 alert
LABELS { severity = "critical" } # 设置 alert 的标签
ANNOTATIONS { # alert 的其他标签,但不用于标识 alert
summary = "Instance {{ $labels.instance }} down",
description = "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 5 minutes.", }
当 Prometheus server 起来时,可以在 Prometheus 容器的日志中看到:
9. Prometheus 日志
time="2017-09-05T08:18:02Z" level=info msg="Starting prometheus (version=1.7.1, branch=master,
revision=3afb3fffa3a29c3de865e1172fb740442e9d0133)" source="main.go:88"
time="2017-09-05T08:18:02Z" level=info msg="Build context (go=go1.8.3, user=root@0aa1b7fc430d, date=20170612-
11:44:05)" source="main.go:89"
time="2017-09-05T08:18:02Z" level=info msg="Host details (Linux 3.19.0-75-generic #83~14.04.1-Ubuntu SMP Thu Nov
10 10:51:40 UTC 2016 x86_64 71984d75e6a1 (none))" source="main.go:90"
time="2017-09-05T08:18:02Z" level=info msg="Loading configuration file /etc/prometheus/prometheus.yml"
source="main.go:252"
time="2017-09-05T08:18:03Z" level=info msg="Loading series map and head chunks..." source="storage.go:428"
time="2017-09-05T08:18:03Z" level=info msg="0 series loaded." source="storage.go:439"
time="2017-09-05T08:18:03Z" level=info msg="Starting target manager..." source="targetmanager.go:63"
time="2017-09-05T08:18:03Z" level=info msg="Listening on :9090" source="web.go:259"
在浏览器中访问 Prometheus 的主页 http://localhost:9091, 可以看到 Prometheus 的信息如下:
图 4. Prometheus 状态信息
为了保证 Prometheus 确实从 node exporter 中收集数据,可以在 Graph 页面中搜索 metric 名字,如 node_cpu 并点击 Execute,可以在 console 中看到 metric 如下。
图 5. Prometheus 中 metric 查询结果 console 输出示例
其中第一条为来自 node exporter 的 metric,此时 ubuntu server 上 goroutines 的个数为 13。点击 Graph 可以观察 metrics 的历史数据。如下图所示:
图 6. Prometheus 中 metric 查询结果 Graph 输出示例
Alertmanager 安装和配置
当接收到 Prometheus 端发送过来的 alerts 时,Alertmanager 会对 alerts 进行去重复,分组,路由到对应集成的接受端,包括:slack,电子邮件,pagerduty,hitchat,webhook。
在 Alertmanager 的配置文件中,需要进行如下配置:
10. Alermanager 中 config.yml 文件
root@ubuntu1404-dev:~/alertmanager# cat config.yml
global:
resolve_timeout: 5m
route:
receiver: 'default-receiver'
group_wait: 30s
group_interval: 1m
repeat_interval: 1m
group_by: ['alertname']
routes:
- match:
severity: critical
receiver: my-slack
receivers:
- name: 'my-slack'
slack_configs:
- send_resolved: true
api_url: https://hooks.slack.com/services/***
channel: '#alertmanager-critical'
text: "{{ .CommonAnnotations.description }}"
- name: 'default-receiver'
slack_configs:
- send_resolved: true
api_url: https://hooks.slack.com/services/***
channel: '#alertmanager-default'
text: "{{ .CommonAnnotations.description }}"
创建好 config.yml 文件后,可以直接用 docker 启动一个 Alertmanager 的容器,如下:
11. 安装 Alertmanager
当 Alertmanager 服务起来时,可以通过浏览器访 Alertmanager 的主页 http://localhost:9093,其状态信息如下:
图 7. Alertmanager 状态信息
在 alerts 的页面中,我们可以看到从 Prometheus sever 端发过来的 alerts,此外,还可以做 alerts 搜索,分组,静音等操作。
图 8. Alertmanager 报警页面
Prometheus 实例演示
下面将通过一个具体的实例来演示 Prometheus 的使用。在 alert.ruels 中定义了 alert 触发的条件是 up 为 0。下面,手动停止 node exporter 服务。
清单 12. 停止 node exporter 服务
`root@ubuntu1404-dev:~/prom# service node_exporter stop``node_exporter stop/waiting``root@ubuntu1404-dev:~/prom# service node_exporter status``node_exporter stop/waiting`
此时,Prometheus 中查询 metric up,可以看到此时 up{instance=“10.0.2.15”,job=“node”} 的值为 0,如下所示:
图 9. Metric up 的返回值(停)
此时,Alerts 页面中显示 InstanceDown,状态为 PENDING。因为 alert 规则中定义需要保持 5 分钟,所以在这之前,alerts 还没有发送至 Alertmanager。
图 10. Alert Pending 界面
5 分钟后,状态由 PENDING 变为 FIRING,于此同时,在 Alertmanager 中可以看到有一个 alert。
图 11. Alert Firing 界面
图 12. Alertmanager 警报界面
在 Alertmanager 的配置文件中定义,党 severity 为 critical 的时候,往 Alertmanager-critical channel 中发送警告,且每隔两分钟重复发送。如下图所示。
图 13. Slack 告警界面
由上可知,当目标失败时,不仅可以在 Prometheus 的主页上实时的查看目标和 alerts 的状态,还可以使用 Alertmanager 发送警告,以便运维人员尽快解决问题。
当问题解决后,Prometheus 不仅会实时更新 metrics 的状态,Alertmanager 也会在 slack 通知 resolved 的消息。以下演示问题解决后的,Prometheus 的操作。
手动启动 node exporter。首先 metric 在 Graph 中恢复至正常值 1。
图 14. Metric up 的返回值(启)
この仕事での目標は現実ノードの状態次第です。
図インタフェース15ターゲット
グリーンアラートは、警告0アクティブ状態を表示します。
図インターフェイス16 Alersが解決します
また、空にされ、アラートのAlertManagerがちょうどんが、アラートを示しませんが見つかりました。
図インターフェース17のAlertManagerが解決します
たるみ最後に、いくつかの赤いFRINGアラームの後に、また、緑の決議ニュースを受けました。
図インターフェイス18スラックが解消します
概要
この論文では、プロメテウスの組成、構造及び基本的な概念を導入し、ノード輸出、プロメテウスとAlermanager構成及び動作の一例を示しました。最後に、プレゼンテーションプロメテウスとどのようプロメテウスとのAlertManager状態でサービス、アラートやアラームを表示するには、一連のに応じて、例えば、モニターのターゲットを開始および停止するためです。プロメテウスは、このようなクエリ機能を使用するなど、より高度な使用については、より統合されたグラフィカルなインターフェイス、公式ドキュメントを参照してください。
リソース
-
プロメテウスの概念および構成の詳細は、を参照してくださいプロメテウスの公式文書
-
ノードの輸出のインストールが参照してくださいgithubのリポジトリnode_exporter
-
スラックは、参照してください情報を送信する着信ウェブフックを