SpringBoot2核心功能 --- 指标监控

Posted 2023-04-08 乌云不要说话

一、SpringBoot Actuator

1.1、简介

未来每一个微服务在云上部署以后，我们都需要对其进行监控、追踪、审计、控制等。SpringBoot就抽取了Actuator场景，使得我们每个微服务快速引用即可获得生产级别的应用监控、审计等功能。

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>

 

1.2、1.x与2.x的不同

 

1.3、如何使用

• 引入场景
• 访问 http://localhost:8080/actuator/**
• 暴露所有监控信息为HTTP

management:
  endpoints:
    enabled-by-default: true #暴露所有端点信息
    web:
      exposure:
        include: '*'  #以web方式暴露

  endpoint:  #开启某个端点的具体配置
    health:
      show-details: always

测试：

http://localhost:8080/actuator/beans

http://localhost:8080/actuator/configprops

http://localhost:8080/actuator/metrics

http://localhost:8080/actuator/metrics/jvm.gc.pause

http://localhost:8080/actuator/endpointName/detailPath

 

1.4、可视化

GitHub - codecentric/spring-boot-admin: Admin UI for administration of spring boot applications

 

 

二、Actuator Endpoint

2.1、最常使用的端点

ID	描述
auditevents	暴露当前应用程序的审核事件信息。需要一个AuditEventRepository组件。
beans	显示应用程序中所有Spring Bean的完整列表。
caches	暴露可用的缓存。
conditions	显示自动配置的所有条件信息，包括匹配或不匹配的原因。
configprops	显示所有@ConfigurationProperties。
env	暴露Spring的属性ConfigurableEnvironment
flyway	显示已应用的所有Flyway数据库迁移。 需要一个或多个Flyway组件。
health	显示应用程序运行状况信息。
httptrace	显示HTTP跟踪信息（默认情况下，最近100个HTTP请求-响应）。需要一个HttpTraceRepository组件。
info	显示应用程序信息。
integrationgraph	显示Spring integrationgraph 。需要依赖spring-integration-core。
loggers	显示和修改应用程序中日志的配置。
liquibase	显示已应用的所有Liquibase数据库迁移。需要一个或多个Liquibase组件。
metrics	显示当前应用程序的“指标”信息。
mappings	显示所有@RequestMapping路径列表。
scheduledtasks	显示应用程序中的计划任务。
sessions	允许从Spring Session支持的会话存储中检索和删除用户会话。需要使用Spring Session的基于Servlet的Web应用程序。
shutdown	使应用程序正常关闭。默认禁用。
startup	显示由ApplicationStartup收集的启动步骤数据。需要使用SpringApplication进行配置BufferingApplicationStartup。
threaddump	执行线程转储。

 

如果您的应用程序是Web应用程序（Spring MVC，Spring WebFlux或Jersey），则可以使用以下附加端点：

ID	描述
heapdump	返回hprof堆转储文件。
jolokia	通过HTTP暴露JMX bean（需要引入Jolokia，不适用于WebFlux）。需要引入依赖jolokia-core。
logfile	返回日志文件的内容（如果已设置logging.file.name或logging.file.path属性）。支持使用HTTPRange标头来检索部分日志文件的内容。
prometheus	以Prometheus服务器可以抓取的格式公开指标。需要依赖micrometer-registry-prometheus。

最常用的Endpoint

• Health：监控状况
• Metrics：运行时指标
• Loggers：日志记录

 

2.2、Health Endpoint

健康检查端点，我们一般用于在云平台，平台会定时的检查应用的健康状况，我们就需要Health Endpoint可以为平台返回当前应用的一系列组件健康状况的集合。

重要的几点：

• health endpoint返回的结果，应该是一系列健康检查后的一个汇总报告
• 很多的健康检查默认已经自动配置好了，比如：数据库、redis等
• 可以很容易的添加自定义的健康检查机制

 

2.3、Metrics Endpoint

提供详细的、层级的、空间指标信息，这些信息可以被pull（主动推送）或者push（被动获取）方式得到；

• 通过Metrics对接多种监控系统
• 简化核心Metrics开发
• 添加自定义Metrics或者扩展已有Metrics

 

2.4、管理Endpoints

1、开启与禁用Endpoints

• 默认所有的Endpoint除过shutdown都是开启的。
• 需要开启或者禁用某个Endpoint。配置模式为 management.endpoint.<endpointName>.enabled = true

management:
  endpoint:
    beans:
      enabled: true

• 或者禁用所有的Endpoint然后手动开启指定的Endpoint

management:
  endpoints:
    enabled-by-default: false #关闭所有端点信息
    web:
      exposure:
        include: '*'  #以web方式暴露

  endpoint:
    health:
      show-details: always
      enabled: true

    info:
      enabled: true #手动开启端点

    beans:
      enabled: true
      
    metrics:
      enabled: true

 

2、暴露Endpoints

支持的暴露方式

• HTTP：默认只暴露health和info Endpoint
• JMX：默认暴露所有Endpoint
• 除过health和info，剩下的Endpoint都应该进行保护访问。如果引入SpringSecurity，则会默认配置安全访问规则

ID	JMX	Web
auditevents	Yes	No
beans	Yes	No
caches	Yes	No
conditions	Yes	No
configprops	Yes	No
env	Yes	No
flyway	Yes	No
health	Yes	Yes
heapdump	N/A	No
httptrace	Yes	No
info	Yes	Yes
integrationgraph	Yes	No
jolokia	N/A	No
logfile	N/A	No
loggers	Yes	No
liquibase	Yes	No
metrics	Yes	No
mappings	Yes	No
prometheus	N/A	No
scheduledtasks	Yes	No
sessions	Yes	No
shutdown	Yes	No
startup	Yes	No
threaddump	Yes	No

 

 

三、定制 Endpoint

3.1、定制 Health 信息

实现接口：

import org.springframework.boot.actuate.health.Health;
import org.springframework.boot.actuate.health.HealthIndicator;
import org.springframework.stereotype.Component;

@Component
public class MyHealthIndicator implements HealthIndicator 

    @Override
    public Health health() 
        int errorCode = check(); // perform some specific health check
        if (errorCode != 0) 
            return Health.down().withDetail("Error Code", errorCode).build();
        
        return Health.up().build();
    



构建Health
Health build = Health.down()
                .withDetail("msg", "error service")
                .withDetail("code", "500")
                .withException(new RuntimeException())
                .build();

management:
    health:
      enabled: true
      show-details: always #总是显示详细信息。可显示每个模块的状态信息

继承类实现 

@Component
public class MyComHealthIndicator extends AbstractHealthIndicator 

    /**
     * 真实的检查方法
     * @param builder
     * @throws Exception
     */
    @Override
    protected void doHealthCheck(Health.Builder builder) throws Exception 
        //mongodb。  获取连接进行测试
        Map<String,Object> map = new HashMap<>();
        // 检查完成
        if(1 == 2)
//            builder.up(); //健康
            builder.status(Status.UP);
            map.put("count",1);
            map.put("ms",100);
        else 
//            builder.down();
            builder.status(Status.OUT_OF_SERVICE);
            map.put("err","连接超时");
            map.put("ms",3000);
        


        builder.withDetail("code",100)
                .withDetails(map);

    

 

3.2、定制info信息

常用两种方式：

1、编写配置文件

info:
  appName: boot-admin
  version: 2.0.1
  mavenProjectName: @project.artifactId@  #使用@ ... @可以获取maven的pom文件值
  mavenProjectVersion: @project.version@

 

2、编写InfoContributor

import java.util.Collections;

import org.springframework.boot.actuate.info.Info;
import org.springframework.boot.actuate.info.InfoContributor;
import org.springframework.stereotype.Component;

@Component
public class ExampleInfoContributor implements InfoContributor 

    @Override
    public void contribute(Info.Builder builder) 
        builder.withDetail("example",
                Collections.singletonMap("key", "value"));
    

http://localhost:8080/actuator/info 会输出以上方式返回的所有info信息

 

3.3、定制Metrics信息

1、SpringBoot支持自动适配的Metrics

• JVM metrics, report utilization of:

        Various memory and buffer pools

        Statistics related to garbage collection

        Threads utilization

        Number of classes loaded/unloaded

• CPU metrics
• File descriptor metrics
• Kafka consumer and producer metrics
• Log4j2 metrics: record the number of events logged to Log4j2 at each level
• Logback metrics: record the number of events logged to Logback at each level
• Uptime metrics: report a gauge for uptime and a fixed gauge representing the application’s absolute start time
• Tomcat metrics (server.tomcat.mbeanregistry.enabled must be set to true for all Tomcat metrics to be registered)
• Spring Integration metrics

 

2、增加定制Metrics

class MyService
    Counter counter;
    public MyService(MeterRegistry meterRegistry)
         counter = meterRegistry.counter("myservice.method.running.counter");
    

    public void hello() 
        counter.increment();
    



//也可以使用下面的方式
@Bean
MeterBinder queueSize(Queue queue) 
    return (registry) -> Gauge.builder("queueSize", queue::size).register(registry);

 

3.4、定制Endpoint

@Component
@Endpoint(id = "container")
public class DockerEndpoint 


    @ReadOperation
    public Map getDockerInfo()
        return Collections.singletonMap("info","docker started...");
    

    @WriteOperation
    private void restartDocker()
        System.out.println("docker restarted....");
    

场景：开发ReadinessEndpoint来管理程序是否就绪，或者LivenessEndpoint来管理程序是否存活；

当然，这个也可以直接使用 Production-ready Features

阿里P9架构师谈：高并发网站的监控系统选型比较核心监控指标

在高并发分布式环境下，对于访问量大的业务、接口等，需要及时的监控网站的健康程度，防止网站出现访问缓慢，甚至在特殊情况出现应用服务器雪崩等场景，在高并发场景下网站无法正常访问的情况，这些就会涉及到分布式监控系统，对于核心指标提前监控，防患于未然。

常见的开源监控系统

1.Zabbix

Zabbix是一个基于WEB界面的提供分布式系统监控以及网络监控功能的企业级开源运维平台，也是目前国内互联网用户中使用最广的监控软件。

入门容易、上手简单、功能强大并且开源免费。

Zabbix易于管理和配置，能生成比较漂亮的数据图，其自动发 现功能大大减轻日常管理的工作量，丰富的数据采集方式和API接口可以让用户灵活进行数据采集，而分布式系统架构可以支持监控更多的设备。

2.Nagios

Nagios是一款开源的企业级监控系统，能够实现对系统CPU、磁盘、网络等方面参数的基本系统监控，以及 SMTP，POP3，HTTP，NNTP等各种基本的服务类型。另外通过安装插件和编写监控脚本，用户可以实现应用监控，并针对大量的监控主机和多个对象 部署层次化监控架构。

Nagios最大的特点是其强大的管理中心，尽管其功能是监控服务和主机的，但Nagios自身并不包括这部分功能代码，所有的监控、告警功能都是由相关插件完成的。

3.开源监控工具比较

4.建议首选Zabbix，免费开源监控首选，以下我主要以Zabbix为例，主要谈监控流程和核心监控指标。

Zabbix监控流程

Zabbix的监控流程可以简单描述为：

数据采集-->数据存储-->数据分析-->数据展示-->监控报警

数据采集：Zabbix通过SNMP、Agent、ICMP、SSH、IPMI等进行数据采集

数据存储：Zabbix存储在MySQL上，也可以存储在其他数据库

数据展示：web界面展示、(移动APP、java_php开发一个web界面也可以)

数据报警：邮件报警、微信报警、短信报警、报警升级机制

Zabbix的监控配置流程可以简单描述为：

告警是由一系列的流程组成，首先是触发器达到阀值，产生一个事件，接下来由Action对事件信息进行处理，其中包括两部分：

第一部分是发送消息，即将告警信息发送给用户。

第二部分是执行命令，即将事件用命令进行处理，达到对事件故障自动尝试恢复的效果。

Host groups（主机组）→Hosts（主机）→template(模板)→Applications（监控项组）→Items（监控项）→graph(图形) →screen (图形分组)→Triggers（触发器）→Event（事件）→Actions（处理动作）→Media types(告警升级|1.执行远程命令2.发送告警邮件)→User groups（用户组）→Users（用户）→Medias(告警邮件)

在实际生产使用的时候，Items、Trigger、Graph采用模板来进行监控，模板特点就是可以重复的事情一次完成，修改了模板等于修改了所有调用此模板的主机。

Zabbix监控功能

1.监控指标

主机的性能监控

网络设备性能监控

数据库性能监控

多种告警方式

详细的报表图表绘制

监控主机zabbix有专用的agent，可以监控Linux，Windows，FreeBSD等 。

监控网络设备zabbix通过SNMP，ssh(不多用)

2.可监控对象

设备：服务器，路由器，交换机

软件：OS，网络，应用程序

主机性能指标监控

故障监控： down机，服务不可用，主机不可达

3.基础监控数据

主要包括以下几个类别：

CPU

Load

内存

磁盘

IO

网络相关

内核参数

ss 统计输出

端口采集

核心服务的进程存活信息采集

关键业务进程资源消耗

NTP offset采集

DNS解析采集

对于这些基础监控选项全部理解透彻的时刻，也就是对Linux运行原理及命令进阶的时刻。

4.JVM监控

对于Java作为主要开发语言的大多数公司，对于JVM的监控不可或缺。

每个JVM应用的参数，比如：

GC

类加载

JVM内存

进程

线程等

而这些参数的获得，都可以通过MxBeans实现。

5.mysql四大性能指标

查询吞吐量

查询执行性能

连接情况

缓冲池使用情况

6.业务应用监控

对于业务需要监控的接口，比如响应时间等。

以上就是分布式监控系统总结。