SpringCloud的入门学习之概念理解、Hystrix断路器

1、分布式系统面临的问题,复杂分布式体系结构中的应用程序有数十个依赖关系,每个依赖关系在某些时候将不可避免地失败。

2、什么是服务雪崩?

  答:多个微服务之间调用的时候,假设微服务A调用微服务B和微服务C,微服务B和微服务C又调用其它的微服务,这就是所谓的“扇出”。如果扇出的链路上某个微服务的调用响应时间过长或者不可用,对微服务A的调用就会占用越来越多的系统资源,进而引起系统崩溃,所谓的"雪崩效应"。
  对于高流量的应用来说,单一的后端依赖可能会导致所有服务器上的所有资源都在几秒钟内饱和。比失败更糟糕的是,这些应用程序还可能导致服务之间的延迟增加,备份队列,线程和其他系统资源紧张,导致整个系统发生更多的级联故障。这些都表示需要对故障和延迟进行隔离和管理,以便单个依赖关系的失败,不能取消整个应用程序或系统。

3、Hystrix是什么呢?

  答:Hystrix是一个用于处理分布式系统的延迟和容错的开源库,在分布式系统里,许多依赖不可避免的会调用失败,比如超时、异常等,Hystrix能够保证在一个依赖出问题的情况下,不会导致整体服务失败,避免级联故障,以提高分布式系统的弹性。
  Hystrix,"断路器"本身是一种开关装置,当某个服务单元发生故障之后,通过断路器的故障监控(类似熔断保险丝),向调用方返回一个符合预期的、可处理的备选响应(FallBack),而不是长时间的等待或者抛出调用方无法处理的异常,这样就保证了服务调用方的线程不会被长时间、不必要地占用,从而避免了故障在分布式系统中的蔓延,乃至雪崩。

4、Hystrix断路器可以干什么?

  答:服务降级、服务熔断、服务限流、接近实时的监控。

5、Hystrix断路器的服务熔断是什么?

  答:熔断机制是应对雪崩效应的一种微服务链路保护机制。当扇出链路的某个微服务不可用或者响应时间太长时,会进行服务的降级,进而熔断该节点微服务的调用,快速返回"错误"的响应信息。当检测到该节点微服务调用响应正常后恢复调用链路。在SpringCloud框架里熔断机制通过Hystrix实现。Hystrix会监控微服务间调用的状况,当失败的调用到一定阈值,缺省是5秒内20次调用失败就会启动熔断机制。熔断机制的注解是@HystrixCommand。

6、新创建服务端microservicecloud-provider-dept-hystrix-8001模块,区分Ribbon负载均衡、Feign负载均衡这种消费端的组件使用。修改pom.xml配置文件,如下所示:

Hystrix断路器的服务熔断是什么?一旦调用服务方法失败并抛出了错误信息后,会自动调用@HystrixCommand标注好的fallbackMethod调用类中的指定方法。

 1 <project xmlns="http://maven.apache.org/POM/4.0.0"
 2     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
 3     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 
 4     http://maven.apache.org/xsd/maven-4.0.0.xsd">
 5     <modelVersion>4.0.0</modelVersion>
 6     <parent>
 7         <groupId>com.bie.springcloud</groupId>
 8         <artifactId>microservicecloud</artifactId>
 9         <version>0.0.1-SNAPSHOT</version>
10     </parent>
11     <artifactId>microservicecloud-provider-dept-hystrix-8001</artifactId>
12 
13     <dependencies>
14         <!-- hystrix相关的jar包 -->
15         <dependency>
16             <groupId>org.springframework.cloud</groupId>
17             <artifactId>spring-cloud-starter-hystrix</artifactId>
18         </dependency>
19         <!-- 引入自己定义的api通用包,可以使用Dept部门Entity -->
20         <dependency>
21             <groupId>com.bie.springcloud</groupId>
22             <artifactId>microservicecloud-api</artifactId>
23             <version>${project.version}</version>
24         </dependency>
25         <!-- 将微服务provider侧注册进eureka -->
26         <dependency>
27             <groupId>org.springframework.cloud</groupId>
28             <artifactId>spring-cloud-starter-eureka</artifactId>
29         </dependency>
30         <dependency>
31             <groupId>org.springframework.cloud</groupId>
32             <artifactId>spring-cloud-starter-config</artifactId>
33         </dependency>
34         <!-- actuator监控信息完善 -->
35         <dependency>
36             <groupId>org.springframework.boot</groupId>
37             <artifactId>spring-boot-starter-actuator</artifactId>
38         </dependency>
39         <dependency>
40             <groupId>junit</groupId>
41             <artifactId>junit</artifactId>
42         </dependency>
43         <dependency>
44             <groupId>mysql</groupId>
45             <artifactId>mysql-connector-java</artifactId>
46         </dependency>
47         <dependency>
48             <groupId>com.alibaba</groupId>
49             <artifactId>druid</artifactId>
50         </dependency>
51         <dependency>
52             <groupId>ch.qos.logback</groupId>
53             <artifactId>logback-core</artifactId>
54         </dependency>
55         <dependency>
56             <groupId>org.mybatis.spring.boot</groupId>
57             <artifactId>mybatis-spring-boot-starter</artifactId>
58         </dependency>
59         <dependency>
60             <groupId>org.springframework.boot</groupId>
61             <artifactId>spring-boot-starter-jetty</artifactId>
62         </dependency>
63         <dependency>
64             <groupId>org.springframework.boot</groupId>
65             <artifactId>spring-boot-starter-web</artifactId>
66         </dependency>
67         <dependency>
68             <groupId>org.springframework.boot</groupId>
69             <artifactId>spring-boot-starter-test</artifactId>
70         </dependency>
71         <!-- 修改后立即生效,热部署 -->
72         <dependency>
73             <groupId>org.springframework</groupId>
74             <artifactId>springloaded</artifactId>
75         </dependency>
76         <dependency>
77             <groupId>org.springframework.boot</groupId>
78             <artifactId>spring-boot-devtools</artifactId>
79         </dependency>
80     </dependencies>
81 
82 </project>

修改microservicecloud-provider-dept-hystrix-8001模块的配置文件application.yml。如下所示:

 1 server:
 2   port: 8001
 3 
 4 mybatis:
 5   config-location: classpath:mybatis/mybatis.cfg.xml        # mybatis配置文件所在路径
 6   type-aliases-package: com.bie.po                          # 所有实体类别名类所在包
 7   mapper-locations:
 8   - classpath:mybatis/mapper/**/*.xml                       # mapper映射文件  
 9   
10 spring:
11   application:
12     name: microservicecloud-provider-dept                   # 微服务的名称
13   datasource:
14     type: com.alibaba.druid.pool.DruidDataSource            # 当前数据源操作类型
15     driver-class-name: org.gjt.mm.mysql.Driver              # mysql驱动包
16     url: jdbc:mysql://localhost:3306/cloudDB01                # 数据库名称
17     username: root
18     password: 123456
19     dbcp2:
20       min-idle: 5                                           # 数据库连接池的最小维持连接数
21       initial-size: 5                                       # 初始化连接数
22       max-total: 5                                          # 最大连接数
23       max-wait-millis: 200                                  # 等待连接获取的最大超时时间
24 
25 eureka:
26   client: # 客户端注册进eureka服务列表内
27     service-url:
28       # defaultZone: http://localhost:7001/eureka
29       defaultZone: http://eureka7001.com:7001/eureka/,http://eureka7002.com:7002/eureka/,http://eureka7003.com:7003/eureka/
30   instance: 
31     instance-id: microservicecloud-provider-dept8001-hystrix # 将eureka-server注册中心的服务,显示你想看的名称
32     prefer-ip-address: true # 访问路径可以显示IP地址    
33 
34      
35              
36 info: # 微服务info内容显示详细信息
37   app.name: microservicecloud-provider-dept # 应用名称
38   company.name: www.baidu.com # 公司地址
39   build.artifactId: $project.artifactId$  # 构建项目artifactId
40   build.version: $project.version$ # 构建项目版本号
41       

可以将microservicecloud-provider-dept-8001模块的信息拷贝过来,修改主启动类,修改DeptController控制层类。

@HystrixCommand报异常后如何处理,一旦调用服务方法失败并抛出了错误信息后,会自动调用@HystrixCommand标注好的fallbackMethod调用类中的指定方法。修改控制层类,如下所示:

  1 package com.bie.controller;
  2 
  3 import java.util.List;
  4 
  5 import javax.websocket.server.PathParam;
  6 
  7 import org.springframework.beans.factory.annotation.Autowired;
  8 import org.springframework.cloud.client.ServiceInstance;
  9 import org.springframework.cloud.client.discovery.DiscoveryClient;
 10 import org.springframework.web.bind.annotation.PathVariable;
 11 import org.springframework.web.bind.annotation.RequestBody;
 12 import org.springframework.web.bind.annotation.RequestMapping;
 13 import org.springframework.web.bind.annotation.RequestMethod;
 14 import org.springframework.web.bind.annotation.RestController;
 15 
 16 import com.bie.po.Dept;
 17 import com.bie.service.DeptService;
 18 import com.netflix.hystrix.contrib.javanica.annotation.HystrixCommand;
 19 
 20 /**
 21  * 
 22  *
 23  * @author biehl
 24  * 
 25  *         一旦调用服务方法失败并抛出了错误信息后,
 26  * 
 27  *         会自动调用@HystrixCommand标注好的fallbackMethod调用类中的指定方法。
 28  * 
 29  */
 30 @RestController
 31 public class DeptController {
 32 
 33     @Autowired
 34     private DeptService deptService;
 35 
 36     // 服务的发现接口。
 37     @Autowired
 38     private DiscoveryClient discoveryClient;
 39 
 40     @RequestMapping(value = "/dept/add", method = RequestMethod.POST)
 41     public boolean addDept(@RequestBody Dept dept) {
 42         return deptService.addDept(dept);
 43     }
 44     
 45     /**
 46      * Hystrix的服务熔断,如果处理异常调用fallbackMethod指定的方法。
 47      * 
 48      * @param id
 49      * @return
 50      */
 51     @RequestMapping(value = "/dept/get/{id}", method = RequestMethod.GET)
 52     @HystrixCommand(fallbackMethod = "processHystrixGetId")
 53     public Dept getById(@PathVariable(value = "id") Long id) {
 54         Dept dept = deptService.getById(id);
 55         if (null == dept) {
 56             throw new RuntimeException("该ID : " + id + " 么有对应的信息!!!");
 57         }
 58         return dept;
 59     }
 60 
 61     @RequestMapping(value = "/dept/list", method = RequestMethod.GET)
 62     public List<Dept> getAll() {
 63         List<Dept> list = deptService.findAll();
 64         return list;
 65     }
 66 
 67     /**
 68      * 服务的发现
 69      * 
 70      * @return
 71      */
 72     @RequestMapping(value = "/dept/discovery", method = RequestMethod.GET)
 73     public Object discovery() {
 74         List<String> list = discoveryClient.getServices();
 75         System.out.println("**********" + list);
 76 
 77         List<ServiceInstance> srvList = discoveryClient.getInstances("MICROSERVICECLOUD-PROVIDER-DEPT");
 78         for (ServiceInstance element : srvList) {
 79             System.out.println(element.getServiceId() + "\t" + element.getHost() + "\t" + element.getPort() + "\t"
 80                     + element.getUri());
 81         }
 82         return this.discoveryClient;
 83     }
 84 
 85     /**
 86      * @HystrixCommand报异常后如何处理呢,将逻辑方法写入到此。
 87      * 
 88      * 一旦调用服务方法失败并抛出了错误信息后,
 89      * 
 90      * 会自动调用@HystrixCommand标注好的fallbackMethod调用类中的指定方法。
 91      * 
 92      * @param id
 93      * @return
 94      * 
 95      */
 96     public Dept processHystrixGetId(@PathParam(value = "id") Long id) {
 97         Dept dept = new Dept();
 98         dept.setDeptNo(id);
 99         dept.setDeptName("该ID : " + id + " 没有对应的消息,null--@HystrixCommand!!!");
100         dept.setDbSource("no this database in MySQL!!!");
101         return dept;
102     }
103 
104 }

修改microservicecloud-provider-dept-hystrix-8001模块的主启动类,新增@EnableCircuitBreaker注解,对hystrixR熔断机制的支持。

 1 package com.bie;
 2 
 3 import org.springframework.boot.SpringApplication;
 4 import org.springframework.boot.autoconfigure.SpringBootApplication;
 5 import org.springframework.cloud.client.circuitbreaker.EnableCircuitBreaker;
 6 import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
 7 import org.springframework.cloud.netflix.eureka.EnableEurekaClient;
 8 
 9 /**
10  * 
11  * 
12  * @author biehl
13  *
14  */
15 @SpringBootApplication
16 @EnableEurekaClient // 本服务启动后会自动注册进eureka服务中。
17 @EnableDiscoveryClient // 服务的发现。
18 @EnableCircuitBreaker // 对hystrix断路器熔断机制的支持。
19 public class MicroServiceCloudProvider8001HystrixApplication {
20 
21     public static void main(String[] args) {
22         SpringApplication.run(MicroServiceCloudProvider8001HystrixApplication.class, args);
23     }
24 
25 }

 开始进行测试,启动三个节点的Eureka Server注册中心,启动microservicecloud-provider-dept-hystrix-8001模块主启动类,启动microservicecloud-consumer-dept-80服务消费者启动主类。进行访问如下所示:



7、Hystrix断路器的服务降级。服务降级是什么?

  答:整体资源快不够了,忍痛将某些服务先关掉,待渡过难关,再开启回来。服务降级处理是在客户端实现完成的,与服务端没有关系的。服务熔断的弊端就是每个方法就要新增@HystrixCommand(fallbackMethod = "processHystrixGetId"),这样就会导致方法冗余。

开始修改microservicecloud-api工程,根据已经有的DeptClientService接口新建一个实现了FallbackFactory接口的类DeptClientServiceFallbackFactory,如下所示:

 1 package com.bie.service;
 2 
 3 import java.util.List;
 4 
 5 import org.springframework.stereotype.Component;
 6 
 7 import com.bie.po.Dept;
 8 
 9 import feign.hystrix.FallbackFactory;
10 
11 @Component // 不要忘记添加,不要忘记添加
12 public class DeptClientServiceFallbackFactory implements FallbackFactory<DeptClientService> {
13 
14     @Override
15     public DeptClientService create(Throwable throwable) {
16 
17         return new DeptClientService() {
18             @Override
19             public Dept get(long id) {
20                 return new Dept().setDeptNo(id)
21                         .setDeptName("该ID:" + id + "没有没有对应的信息,Consumer客户端提供的降级信息,此刻服务Provider已经关闭")
22                         .setDbSource("no this database in MySQL");
23             }
24 
25             @Override
26             public List<Dept> list() {
27                 return null;
28             }
29 
30             @Override
31             public boolean add(Dept dept) {
32                 return false;
33             }
34         };
35     }
36 
37 }

在接口里面做Hystrix的服务熔断,如果处理异常调用fallbackMethod指定的方法。这样就可以和之前在控制层做服务熔断的进行解耦合了。避免出现方法冗余的现象。将熔断机制全部放到一个统一的接口处理类里面进行处理。使用spring的织入和异常通知,避免在每个方法都添加服务熔断的方法@HystrixCommand。避免代码膨胀,实现业务逻辑和异常处理进行分离。

修改microservicecloud-api工程,DeptClientService接口在注解@FeignClient中添加fallbackFactory属性值,如下所示:

 1 package com.bie.service;
 2 
 3 import java.util.List;
 4 
 5 import org.springframework.cloud.netflix.feign.FeignClient;
 6 import org.springframework.web.bind.annotation.PathVariable;
 7 import org.springframework.web.bind.annotation.RequestMapping;
 8 import org.springframework.web.bind.annotation.RequestMethod;
 9 
10 import com.bie.po.Dept;
11 
12 /**
13  * 
14  *
15  * @author biehl
16  * 
17  * 
18  */
19 // @FeignClient(value = "MICROSERVICECLOUD-PROVIDER-DEPT")
20 // value的值是微服务提供者的名称,即spring.application.name
21 // Feign使用用法,创建一个接口,使用一个注解。
22 @FeignClient(value = "MICROSERVICECLOUD-PROVIDER-DEPT", fallbackFactory = DeptClientServiceFallbackFactory.class)
23 public interface DeptClientService {
24 
25     /**
26      * 查询接口
27      * 
28      * @param id
29      * @return
30      */
31     @RequestMapping(value = "/dept/get/{id}", method = RequestMethod.GET)
32     public Dept get(@PathVariable("id") long id);
33 
34     /**
35      * 查询接口
36      * 
37      * @return
38      */
39     @RequestMapping(value = "/dept/list", method = RequestMethod.GET)
40     public List<Dept> list();
41 
42     /**
43      * 新增接口
44      * 
45      * @param dept
46      * @return
47      */
48     @RequestMapping(value = "/dept/add", method = RequestMethod.POST)
49     public boolean add(Dept dept);
50 }

修改microservicecloud-api工程,将microservicecloud-api工程进行maven clear和maven install操作。然后修改microservicecloud-consumer-dept-feign工程的配置文件application.yml,新增feign和hystrix的配置。

 1 server:
 2   port: 80
 3  
 4 eureka:
 5   client: # 客户端注册进eureka服务列表内
 6     register-with-eureka: false # eureka客户端,自己不能注册
 7     service-url:
 8       defaultZone: http://eureka7001.com:7001/eureka/,http://eureka7002.com:7002/eureka/,http://eureka7003.com:7003/eureka/
 9           
10 feign: 
11   hystrix: 
12     enabled: true

开始进行测试,启动三个节点的Eureka Server注册中心,启动microservicecloud-provider-dept-8001服务提供者,启动microservicecloud-consumer-dept-feign服务消费者,进行正常访问测试,然后将服务提供者关闭,进行访问查看效果,此时服务端提供者已经挂了,但是我们做了服务降级处理,让客户端在服务端不可用的时候也会获得提示信息而不会挂起耗死服务器。

服务熔断,一般是某个服务故障或者异常引起的,类似现实世界中的保险丝,当某个异常条件被触发,直接熔断整个服务,而不是一致等到此服务超时。
服务降级,所谓降级,一般是从整体负荷考虑。就是当某个服务熔断以后,服务器将不再被调用,此时客户端可以自己准备一个本地的fallback回调,返回一个缺省值。这样做,虽然服务水平下降,但好歹可用,比直接挂掉要强。 

8、Hystrix断路器,服务监控hystrixDashboard。
  除了隔离依赖服务的调用以外,Hystrix还提供了准实时的调用监控(Hystrix Dashboard),Hystrix会持续地记录所有通过Hystrix发起的请求的执行信息,并以统计报表和图形的形式展示给用户,包括每秒执行多少请求多少成功,多少失败等。Netflix通过hystrix-metrics-event-stream项目实现了对以上指标的监控。Spring Cloud也提供了Hystrix Dashboard的整合,对监控内容转化成可视化界面。

新建工程microservicecloud-consumer-hystrix-dashboard,修改pom.xml配置文件,内容如下所示:

 1 <project xmlns="http://maven.apache.org/POM/4.0.0"
 2     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
 3     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 
 4     http://maven.apache.org/xsd/maven-4.0.0.xsd">
 5     <modelVersion>4.0.0</modelVersion>
 6     <parent>
 7         <groupId>com.bie.springcloud</groupId>
 8         <artifactId>microservicecloud</artifactId>
 9         <version>0.0.1-SNAPSHOT</version>
10     </parent>
11     <artifactId>microservicecloud-consumer-hystrix-dashboard</artifactId>
12 
13     <dependencies>
14         <!-- 自己定义的api -->
15         <dependency>
16             <groupId>com.bie.springcloud</groupId>
17             <artifactId>microservicecloud-api</artifactId>
18             <version>${project.version}</version>
19         </dependency>
20         <dependency>
21             <groupId>org.springframework.boot</groupId>
22             <artifactId>spring-boot-starter-web</artifactId>
23         </dependency>
24         <!-- 修改后立即生效,热部署 -->
25         <dependency>
26             <groupId>org.springframework</groupId>
27             <artifactId>springloaded</artifactId>
28         </dependency>
29         <dependency>
30             <groupId>org.springframework.boot</groupId>
31             <artifactId>spring-boot-devtools</artifactId>
32         </dependency>
33         <!-- Ribbon相关 -->
34         <dependency>
35             <groupId>org.springframework.cloud</groupId>
36             <artifactId>spring-cloud-starter-eureka</artifactId>
37         </dependency>
38         <dependency>
39             <groupId>org.springframework.cloud</groupId>
40             <artifactId>spring-cloud-starter-ribbon</artifactId>
41         </dependency>
42         <dependency>
43             <groupId>org.springframework.cloud</groupId>
44             <artifactId>spring-cloud-starter-config</artifactId>
45         </dependency>
46         <!-- feign相关 -->
47         <dependency>
48             <groupId>org.springframework.cloud</groupId>
49             <artifactId>spring-cloud-starter-feign</artifactId>
50         </dependency>
51         <!-- hystrix和 hystrix-dashboard相关 -->
52         <dependency>
53             <groupId>org.springframework.cloud</groupId>
54             <artifactId>spring-cloud-starter-hystrix</artifactId>
55         </dependency>
56         <dependency>
57             <groupId>org.springframework.cloud</groupId>
58             <artifactId>spring-cloud-starter-hystrix-dashboard</artifactId>
59         </dependency>
60     </dependencies>
61 
62 
63 </project>

修改工程microservicecloud-consumer-hystrix-dashboard的配置文件application.yml。内容如下所示:

1 server:
2   port: 9001
3   
4   

修改工程microservicecloud-consumer-hystrix-dashboard的主启动类,新增注解@EnableHystrixDashboard,如下所示:

 1 package com.bie;
 2 
 3 import org.springframework.boot.SpringApplication;
 4 import org.springframework.boot.autoconfigure.SpringBootApplication;
 5 import org.springframework.cloud.netflix.hystrix.dashboard.EnableHystrixDashboard;
 6 
 7 /**
 8  * HystrixDashboard
 9  * 
10  * hystrix的监控dashboard。
11  * 
12  * @author biehl
13  *
14  */
15 @SpringBootApplication
16 @EnableHystrixDashboard // hystrix的监控dashboard
17 public class MicroServiceCloudConsumerHystrixDashboardApplication {
18 
19     public static void main(String[] args) {
20         SpringApplication.run(MicroServiceCloudConsumerHystrixDashboardApplication.class, args);
21     }
22 
23 }

所有服务提供者Provider都需要新增监控依赖配置,microservicecloud-provider-dept-8001、microservicecloud-provider-dept-8002、microservicecloud-provider-dept-800如下所示:

1 <!-- actuator监控信息完善 -->
2 <dependency>
3    <groupId>org.springframework.boot</groupId>
4    <artifactId>spring-boot-starter-actuator</artifactId>
5 </dependency>

启动工程microservicecloud-consumer-hystrix-dashboard该微服务监控消费端。访问http://127.0.0.1:9001/hystrix地址查看效果,如下所示:

开始启动Eureka Server三个节点的注册中心。然后启动microservicecloud-provider-dept-hystrix-8001这个服务,查看http://127.0.0.1:8001/dept/get/1地址查看效果,如下所示:

访问地址,http://127.0.0.1:8001/hystrix.stream,刷新http://127.0.0.1:8001/dept/get/1请求地址,查看效果,如下所示:

Hystrix断路器中的服务监控hystrixDashboard的监控测试。多次刷新http://127.0.0.1:8001/dept/get/1请求地址,观察监控窗口效果,如下所示:

参数说明:

  1)、Delay该参数用来控制服务器上轮询监控信息的延迟时间,默认为2000毫秒,可以通过配置该属性来降低客户端的网络和CPU消耗。

  2)、Title该参数对应了头部标题Hystrix Stream之后的内容,默认会使用具体监控实例的URL,可以通过配置该信息来展示更合适的标题。

监控结果,页面显示七种颜色,一个实心圈,一条线,如下所示:

解释说明:

  1)、实心圆,共有两种含义。它通过颜色的变化代表了实例的健康程度,它的健康度从绿色<黄色<橙色<红色递减。该实心圆除了颜色的变化之外,它的大小也会根据实例的请求流量发生变化,流量越大该实心圆就越大。所以通过该实心圆的展示,就可以在大量的实例中快速的发现故障实例和高压力实例。
  2)、一条曲线,用来记录2分钟内流量的相对变化,可以通过它来观察到流量的上升和下降趋势。

作者:别先生

博客园:https://www.cnblogs.com/biehongli/

如果您想及时得到个人撰写文章以及著作的消息推送,可以扫描上方二维码,关注个人公众号哦。

猜你喜欢

转载自www.cnblogs.com/biehongli/p/11935958.html