通过Spring Boot Actuator导出metrics到InfluxDB和Prometheus

5945972-37a600dc75e4efb6.png
精选.png

Spring Boot Actuator是Spring Boot 2发布后最改进的项目之一。它已经通过了主要的改进,旨在简化定制,包括一些新的功能,例如对其他Web技术的支持,例如新的反应式模块——SpringWebFlux。它还增加了对将度量导出到influxdb的开箱即用支持,influxdb是一个开源时间序列数据库,设计用于处理大量时间戳数据。与使用SpringBoot1.5的版本相比,这确实是一个很大的简化。您可以通过阅读我以前的文章中的一篇使用grafana和influxdb定制度量可视化来了解自己的价值。我在这里描述了如何使用@exportmetricswriter bean将Spring引导执行器生成的度量导出到influxdb。示例Spring引导应用程序可用于分支主服务器中关于Github存储库示例Spring Graphite(https://github.com/piomin/sample-spring-graphite.git)的文章。在当前的文章中,我创建了spring2分支(https://github.com/piomin/sample-spring-graphite/tree/spring2),它演示了如何使用2.0版的Spring Boot和Spring Boot Actuator实现相同的功能。

此外,我将向您展示如何将相同的度量导出到另一个流行的监控系统,以有效地存储时间序列数据-prometheus。infloxdb和prometheus之间的输出度量模型有一个主要的区别。第一个是基于推的系统,第二个是基于拉的系统。因此,我们的示例应用程序需要主动地将数据发送到influxdb监控系统,而使用prometheus,它只需要公开将定期获取数据的端点。让我们从influxdb开始。

1. Running InfluxDB

第一步对于我的例子来说是典型的——我们将运行带有influxdb的docker容器。这是在本地计算机上运行influxdb并通过8086端口公开HTTP API的最简单命令。

$ docker run -d --name influx -p 8086:8086 influxdb

一旦我们启动了这个容器,您可能会想在那里登录并执行一些命令。没什么简单的,只要运行下面的命令就可以了。登录后,您应该看到目标Docker容器上运行的influxdb版本。

$ docker exec -it influx influx
Connected to http://localhost:8086 version 1.5.2
InfluxDB shell version: 1.5.2

第一步是创建数据库。正如您可能猜测的那样,可以使用命令create database来实现TT。然后切换到新创建的数据库。

$ create database springboot
$ use springboot

你对这个语义熟悉吗?是的,influxdb提供了与SQL非常相似的查询语言。它被称为inluxql,允许您定义select语句、group by或into子句等等。但是,在执行这样的查询之前,我们应该将数据存储在数据库中,对吗?现在,让我们继续下一步,以生成一些测试度量。

2. 整合 Spring Boot 应用和InfluxDB

如果micrometer-registry-influx加入项目的依赖项,将自动启用到influxdb的导出。当然,我们还需要包括Spring Boot Actuator。

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
    <groupId>io.micrometer</groupId>
    <artifactId>micrometer-registry-influx</artifactId>
</dependency>

唯一要做的就是重写influxdb的默认地址,因为我们正在VM上运行influxdb docker容器。默认情况下,Spring引导数据尝试连接名为mydb的数据库。但是,我已经创建了数据库SpringBoot,所以我也应该覆盖这个默认值。在SpringBoot的版本2中,所有与 Spring Boot Actuator endpoints相关的配置属性都已移到Management.*部分。

5945972-815c2c2c11c544a4.png
图片.png

在启动SpringBoot应用程序之后,类路径中包含了actuator,您可能会有点惊讶,因为它默认只公开两个HTTP端点/actuator/info和/actuator/health。这就是为什么在最新版本的SpringBoot中,除了/health和/info之外的所有执行器在默认情况下都是禁用的,用于安全目的。要启用所有执行器enpoint,必须将property management.endpoints.web.exposure.include设置为“*”。

在最新版本的Spring引导中,对HTTP度量的监视得到了显著的改进。我们可以通过将property management.metrics.web.server.auto-time-requests设置为true来收集所有Spring MVC度量。或者,当它设置为false时,您可以通过用@timed对其进行注释来为特定的REST控制器启用度量。您还可以在控制器内注释单个方法,以仅为特定端点生成度量。

5945972-1a00c1b03b82c497.png
图片.png

3. 建立Spring Boot

SpringBoot的示例Spring引导应用程序由单个控制器组成,该控制器实现用于操作人员实体、存储库bean和实体类的基本CRUD操作。应用程序使用提供CRUD实现的SpringDataJPA存储库连接到MySQL数据库。这是控制器类。

@RestController
@Timed
public class PersonController {
 
    protected Logger logger = Logger.getLogger(PersonController.class.getName());
 
    @Autowired
    PersonRepository repository;
 
    @GetMapping("/persons/pesel/{pesel}")
    public List findByPesel(@PathVariable("pesel") String pesel) {
        logger.info(String.format("Person.findByPesel(%s)", pesel));
        return repository.findByPesel(pesel);
    }
 
    @GetMapping("/persons/{id}")
    public Person findById(@PathVariable("id") Integer id) {
        logger.info(String.format("Person.findById(%d)", id));
        return repository.findById(id).get();
    }
 
    @GetMapping("/persons")
    public List findAll() {
        logger.info(String.format("Person.findAll()"));
        return (List) repository.findAll();
    }
 
    @PostMapping("/persons")
    public Person add(@RequestBody Person person) {
        logger.info(String.format("Person.add(%s)", person));
        return repository.save(person);
    }
 
    @PutMapping("/persons")
    public Person update(@RequestBody Person person) {
        logger.info(String.format("Person.update(%s)", person));
        return repository.save(person);
    }
 
    @DeleteMapping("/persons/{id}")
    public void remove(@PathVariable("id") Integer id) {
        logger.info(String.format("Person.remove(%d)", id));
        repository.deleteById(id);
    }
 
}

在运行应用程序之前,我们已经设置了mysql数据库。最方便的实现方法是通过mysql docker image。下面的命令运行带有数据库grafana的容器,定义用户和密码,并在Mysql上公开33306端口。

docker run -d --name mysql -e MYSQL_DATABASE=grafana -e MYSQL_USER=grafana -e MYSQL_PASSWORD=grafana -e MYSQL_ALLOW_EMPTY_PASSWORD=yes -p 33306:3306 mysql:5

然后我们需要在应用程序端设置一些数据库配置属性。由于将spring.jpa.properties.hibernate.hbm2ddl.auto属性设置为更新,所有必需的表都将在应用程序启动时创建。

5945972-e077eda7f7a8323d.png
图片.png

4。生成metrics

在启动应用程序和所需的Docker容器之后,唯一需要做的就是生成一些测试统计信息。我创建了JUnit测试类,它生成一些测试数据,并在循环中调用应用程序公开的端点。这是那个测试方法的片段。

int ix = new Random().nextInt(100000);
Person p = new Person();
p.setFirstName("Jan" + ix);
p.setLastName("Testowy" + ix);
p.setPesel(new DecimalFormat("0000000").format(ix) + new DecimalFormat("000").format(ix%100));
p.setAge(ix%100);
p = template.postForObject("http://localhost:2222/persons", p, Person.class);
LOGGER.info("New person: {}", p);
 
p = template.getForObject("http://localhost:2222/persons/{id}", Person.class, p.getId());
p.setAge(ix%100);
template.put("http://localhost:2222/persons", p);
LOGGER.info("Person updated: {} with age={}", p, ix%100);
 
template.delete("http://localhost:2222/persons/{id}", p.getId());

现在,让我们回到步骤1。您可能还记得,我已经向您展示了如何在influxdb docker容器中运行influx客户机。工作几分钟后,测试单元应该多次调用暴露的端点。我们可以检查存储在influx上的metric http_server_请求的值。下面的查询返回在过去3分钟内收集的测量值列表。

5945972-dec1b370be3ca608.png
图片.png

如您所见,所有由Spring引导执行器生成的度量都用以下信息标记:方法、URI、状态和异常。由于有了这些标签,我们可以很容易地对每个签名端点的度量进行分组,包括失败和成功百分比。让我们看看如何在grafana中配置和查看它。

5.使用Gravana实现度量可视化

一旦我们成功地将度量导出到influxdb,现在是时候使用grafana可视化它们了。首先,让我们用grafana运行docker container。

$ docker run -d --name grafana -p 3000:3000 grafana/grafana

Grafana为创建流入查询提供了用户友好的界面。我们定义了一个图形,它可视化每个调用端点的请求处理时间和应用程序接收的请求总数。如果我们按方法类型和URI过滤存储在表http_server_请求中的统计信息,我们将收集每个端点生成的所有度量。

5945972-d9e37ec126c5aa7f.png
图片.png

应为其他端点创建类似的定义。我们将在一个图表上对它们进行说明。

5945972-33dc298edf6650b9.png
图片.png

这是最后的结果。

5945972-1f333279580c530a.png
图片.png

下面是可视化发送到应用程序的请求总数的图表。

5945972-24874977560a4774.png
图片.png

6. 运行Prometheus

在本地运行Prometheus最合适的方法显然是通过码头集装箱。API暴露在端口9090下。我们还应该传递初始配置文件和Docker网络的名称。为什么?您将在本步骤描述的下一部分中找到所有答案。

docker run -d --name prometheus -p 9090:9090 -v /tmp/prometheus.yml:/etc/prometheus/prometheus.yml --network springboot prom/prometheus

与influxdb不同,prometheus从应用程序中提取度量。因此,我们需要启用为普罗米修斯公开度量的执行器端点,这在默认情况下是禁用的。要启用它,请将property management.endpoint.prometheus.enabled设置为true,如下面的配置片段所示。

5945972-d6be3741c48c63bc.png
图片.png

然后我们应该在prometheus配置文件中设置应用程序公开的执行器端点的地址。scrape_配置部分负责指定一组目标和描述如何与它们连接的参数。默认情况下,prometheus尝试每分钟从定义的目标端点收集一次数据。

5945972-24830854a0b7efe3.png
图片.png

与集成influxdb类似,我们需要将以下工件包含到项目的依赖项中。

<dependency>
    <groupId>io.micrometer</groupId>
    <artifactId>micrometer-registry-prometheus</artifactId>
</dependency>

在我的例子中,Docker在VM上运行,并且在IP 192.168.99.100下可用。如果我希望prometheus能够连接我的应用程序,它作为docker容器启动,我也应该作为docker容器启动它。连接两个独立容器最方便的方法是通过Docker网络。如果两个容器都被分配到同一个网络,它们将能够使用容器的名称作为目标地址彼此连接。Dockerfile在示例应用程序源代码的根目录中可用。下面可见的第二个命令(docker build)不是必需的,因为我的docker hub存储库中提供了必需的image piomin/person服务。

$ docker network create springboot
$ docker build -t piomin/person-service .
$ docker run -d --name person-service -p 2222:2222 --network springboot piomin/person-service

7.集成prometheus和Grafana

prometheus在地址192.168.99.100:9090下公开了Web控制台,您可以在其中指定带有度量的查询和显示图形。但是,我们可以将它与Grafana集成,以利用该工具提供的更好的可视化效果。首先,您应该创建普罗米修斯数据源。

5945972-02739b3e64bafe71.png
图片.png

然后,我们应该定义从PrometheusAPI收集度量的查询。Spring Boot Actuator公开了与HTTP流量相关的三个不同指标:http_server_requests_seconds_count、http_server_requests_seconds_sum和http_server_requests_seconds_max。例如,我们可以计算http_server_requests_seconds_sum的每秒平均时间序列增长率,该值返回所花费的总秒数。使用rate()函数处理请求。可以使用内的表达式按方法和URI筛选值。下图说明了每个端点的rate()函数的配置。

5945972-52af4f2b8787d243.png
图片.png

这是图表。

5945972-0ae9daf2c1e3e859.png
图片.png

总结

在SpringBoot的1.5和2.0版本之间,度量生成的改进是显著的。现在将数据导出到流行的监控系统(如infloxdb或prometheus)比以前容易得多,不需要任何额外的开发。与HTTP流量相关的度量更加详细,并且由于标记指示HTTP请求的URI、类型和状态,它们可能很容易与特定端点关联。我认为,与以前版本的SpringBoot相比,SpringBoot执行器中的修改可能是将应用程序迁移到最新版本的主要动机之一。

猜你喜欢

转载自blog.csdn.net/weixin_34247155/article/details/87595572