GoFrame 框架：添加 Prometheus 监控中间件

介绍

通过一个完整例子，在基于 GoFrame 框架的微服务中添加 Prometheus 监控中间件。

什么是 Prometheus 监控拦截器/中间件？

监控拦截器会对每一个 API 请求记录 Prometheus Metrics。

我们将会使用 rk-boot 来启动 GoFrame 框架的微服务。

请访问如下地址获取完整教程：rkdocs.netlify.app/cn

安装

go get github.com/rookie-ninja/rk-boot/gf
复制代码

快速开始

rk-boot 默认集成如下开源库。

• rk-prom 作为普罗米修斯(Prometheus)客户端启动库。

1.创建 boot.yaml

boot.yaml 文件描述了 Gin 框架启动的原信息，rk-boot 通过读取 boot.yaml 来启动 GoFrame。

为了验证，我们启动了如下几个选项：

• commonService：commonService 里包含了一系列通用 API。详情
• prom：Prometheus(普罗米修斯)客户端。
• prometheus 中间件：启动 prometheus 中间件。

---
gf:
  - name: greeter                     # Required
    port: 8080                        # Required
    enabled: true                     # Required
    prom:
      enabled: true                   # Optional, default: false
    commonService:
      enabled: true                   # Optional, default: false
    interceptors:
      metricsProm:
        enabled: true                 # Optional, default: false
复制代码

2.创建 main.go

添加 /v1/greeter API。

// Copyright (c) 2021 rookie-ninja
//
// Use of this source code is governed by an Apache-style
// license that can be found in the LICENSE file.
package main

import (
	"context"
	"fmt"
	"github.com/gogf/gf/v2/net/ghttp"
	"github.com/rookie-ninja/rk-boot"
	"github.com/rookie-ninja/rk-boot/gf"
	"net/http"
)

// Application entrance.
func main() {
	// Create a new boot instance.
	boot := rkboot.NewBoot()

	// Register handler
	gfEntry := rkbootgf.GetGfEntry("greeter")
	gfEntry.Server.BindHandler("/v1/greeter", func(ctx *ghttp.Request) {
		ctx.Response.WriteHeader(http.StatusOK)
		ctx.Response.WriteJson(&GreeterResponse{
			Message: fmt.Sprintf("Hello %s!", ctx.GetQuery("name")),
		})
	})

	// Bootstrap
	boot.Bootstrap(context.Background())

	// Wait for shutdown sig
	boot.WaitForShutdownSig(context.Background())
}

type GreeterResponse struct {
	Message string
}
复制代码

3.文件夹结构

$ tree
.
├── boot.yaml
├── go.mod
├── go.sum
└── main.go

0 directories, 4 files
复制代码

4.启动 main.go

$ go run main.go

2021-12-30T17:20:07.845+0800    INFO    boot/gf_entry.go:1050   Bootstrap gfEntry       {"eventId": "77d63142-a252-4f65-bbfd-a30d6a96f1a7", "entryName": "greeter"}
------------------------------------------------------------------------
endTime=2021-12-30T17:20:07.845672+08:00
startTime=2021-12-30T17:20:07.845328+08:00
elapsedNano=344309
timezone=CST
ids={"eventId":"77d63142-a252-4f65-bbfd-a30d6a96f1a7"}
app={"appName":"rk","appVersion":"","entryName":"greeter","entryType":"GfEntry"}
env={"arch":"amd64","az":"*","domain":"*","hostname":"lark.local","localIP":"10.8.0.2","os":"darwin","realm":"*","region":"*"}
payloads={"commonServiceEnabled":true,"commonServicePathPrefix":"/rk/v1/","gfPort":8080,"promEnabled":true,"promPath":"/metrics","promPort":8080}
error={}
counters={}
pairs={}
timing={}
remoteAddr=localhost
operation=Bootstrap
resCode=OK
eventStatus=Ended
EOE
复制代码

5.验证

• 发送请求到 CommonService 里的 /rk/v1/healthy API。

$ curl -X GET localhost:8080/rk/v1/healthy
{"healthy":true}
复制代码

• 发送请求到 /v1/greeter API。

curl -X GET "localhost:8080/v1/greeter?name=rk-dev"
{"Message":"Hello rk-dev!"}
复制代码

访问 Prometheus 客户端: http://localhost:8080/metrics

可视化监控

我们已经在本地进程里启动了 prometheus 监控，剩下的事情就是如何在一个【漂亮】的网页里查看监控了。

市面上有很多工具，不过我们选择【简单】，【流行】，【免费】的方式，也就是 Prometheus + Grafana。

架构图

先来看看整个流程是什么样的。

其实原理很简单，就是【劫持】API 请求，并且记录【时间】，【错误码】等信息。之后，让 Prometheus 服务主动从【创建的服务】里，拉取数据。最后，让 Grafana 服务从 Prometheus 中拉取数据，显示数据表。

快速开始

1. 创建 prometheus.yml

我们先创建 prometheus.yml 配置文件，让 prometheus 服务能够从 localhost:8080/metrics 拉取数据。

下面的配置中，我们没有指定 /metrics，因为 prometheus默认会使用 /metrics 来拉取数据。

注意！我们把 targets 设置成了 host.docker.internal:8080 而不是 localhost:8080，这是因为 prometheus 在容器里面，我们服务在本地里。

想要从容器里访问本地机器的端口，这是一种便捷的方法。解释

global:
  scrape_interval: 1s # Make scrape interval to 1s for testing.

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  - job_name: 'rk-demo'
    scrape_interval: 1s
    static_configs:
      - targets: ['host.docker.internal:8080']
复制代码

2.启动 Prometheus

我们使用 docker 来启动。

Prometheus 默认使用 9090 端口。

$ docker run -p 9090:9090 -v /<your path>/rk-demo/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus
复制代码

3.验证 Prometheus

请按照上面的【验证】，启动 main.go，并且发送一个 /rk/v1/healthy 请求。

然后，我们来看一下 prometheus 服务里面的数据。

访问：localhost:9090，并且搜索 rk_greeter_resCode，我们可以看到数据已经在 prometheus 里面了。

访问：localhost:9090/targets，我们可以看到，prometheus 已经每隔一秒拉取数据了。

4.启动 Grafana

Grafana 默认使用 3000 端口。

$ docker run -p 3000:3000 --name grafana grafana/grafana
复制代码

访问：localhost:3000

这时候，grafana 会让你登陆，默认的用户名密码如下。

用户名：admin 密码：admin

5.在 Grafana 里添加 Prometheus 数据源

Grafana 只是一个 Web UI 工具，为了能看到数据报表，我们告诉 Grafana 在哪里寻找 Prometheus。

选择 Prometheus 作为数据源。

填写 Prometheus 地址，跟上面一样的道理，因为 Grafana 运行在 Docker 中，所以，我们不使用 localhost:9090，而是，host.docker.internal:9090。

6.导入 Dashboard

我们可以自行编辑 Grafana Dashboard，不过，这个并不是个容易的事儿。针对于使用 rk-boot 启动的服务，我们提供了默认【免费】的 Grafana Dashboard 模版。

注意，这里导入的 Dashboard 只匹配【按照上述逻辑创建的服务】。

Why? 因为 rk-boot 默认会使用 rk_<Entry 名字>_xxx 作为 prometheus 的 metrics 名字。

移动到 Dashboard 导入页面

导入 15111 号 Dashboard，定义在了：grafana.com/grafana/das…

指定 Prometheus 数据源，这个数据源就是我们在上面配置的 Prometheus。

开始监控

注意！如果请求数太少，则会显示成 0，请多发几个请求。

概念

我们已经可以从 Grafana 里得到监控数据了，现在看看 rk-boot 里的中间件，添加了什么类型的监控数据。

监控拦截器会默认记录如下监控。

监控项	数据类型	详情
elapsedNano	Summary	RPC 耗时
resCode	Counter	基于 RPC 返回码的计数器
errors	Counter	基于 RPC 错误的计数器

上述三项监控，都有如下的标签。

标签	详情
entryName	Gin entry 名字
entryType	Gin entry 类型
realm	环境变量: REALM, eg: rk
region	环境变量: REGION, eg: beijing
az	环境变量: AZ, eg: beijing-1
domain	环境变量: DOMAIN, eg: prod
instance	本地 Hostname
appVersion	从 AppInfoEntry 获取
appName	从 AppInfoEntry 获取
restMethod	Http 方法。 eg: GET
restPath	Http 路径。 eg: /rk/v1/healthy
type	服务类型。eg: Gin
resCode	返回码, eg: OK