分级告警策略,人性化系统监控?

Posted 架构师之路

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了分级告警策略,人性化系统监控?相关的知识,希望对你有一定的参考价值。

要介绍统一监控平台,得先从告警策略聊起,后续再聊不同维度监控的架构与实现细节。

 

一、啥是告警?

监控平台发现系统异常,向系统负责人发出文字(例如,邮件/短信),色彩(有些公司,编译不过,CI平台会亮红灯),声音(有些公司,有蜂鸣器嗡嗡响,研发压力大呀)等警示,就是告警。

 

绝大部分公司,主要是通过文字发出系统异常告警信息。

 

文字告警有哪些常见的方法?

以58到家为例,目前提供了四种文字告警的方式,其成本,到达率,实时性都不一样:

  • 短信:成本高,实时性好,到达率高

  • 邮件:成本低,实时性差,到达率高

  • 钉钉/微信:成本低,实时性中,到达率中

画外音:当然,得现有短信、邮件、钉钉、微信等消息网关的基础服务。

 

二、啥是告警策略?

绝大部分公司,可能都没有考虑系统监控告警策略,一旦发生异常,就发邮件/短信通知系统负责人,这样可能导致这样一些问题:

  • 同一个集群的不同实例出问题,可能会造成重复告警,浪费带宽资源,升高短信成本

  • 系统负责人短时间内手机被告警短信刷屏,导致产生麻木感

  • 系统负责人短时间内手机,邮箱,钉钉,微信同时对一个故障告警,导致产生巨大压力

  • 员工不重视告警,无法判断告警的优先级,leader又不知情,导致事故影响扩大

画外音:你猜,BAT一年的短信告警费用是多少?


为了解决上述问题,针对不同的服务,在不同的时间段,不同的员工层级,应该设定不同的告警策略,有哪些常见的告警策略呢?

  • 模块告警收敛策略:当一个模块/服务异常时,与其对应的所有接口监控,与其对应集群的多有实例,都会告警,此时,应该收敛为一个模块/服务告警,常见的实现方式是,模块/服务按照集群名称做告警去重

  • 接口告警收敛策略:当一个模块/服务的一个接口异常,与其对应集群的多个实例,都会告警,此时,应该收敛为一个接口告警,常见的实现方式是,按照接口名称做告警去重

  • 告警频率收敛策略:对同一个服务或者接口,应该在固定的时间内,只发送有限的告警,常见的方式是,按照1分钟1次限制告警次数,一来降低研发的紧张感与压力感,二来节省成本

  • 不同时段区分告警方式策略工作日工作时段在公司时,通过邮件/钉钉/微信发送告警能更加节省成本;半夜或者周末发生故障时,通过邮件发送告警能保证实时性

  • 逐层上报告警策略:每个模块都应该有负责人,原则上告警会发送给模块的负责人,但如果告警连续1小时未恢复正常,告警会自动发送给系统负责人的直属leader,如果告警连续3个小时未恢复正常,告警会自动发送给系统负责人的二级leader

  • 黑白跳动策略:当系统由正常变为异常,异常恢复正常,出现正反的变化时,都应该发出告警

画外音:额,这么人性化,是“别人家”的公司么?


三、监控平台,告警策略依赖的基础模块

要实现统一监控平台,要实现告警策略化,需要依赖两个非常重要的基础模块:

  • 集群信息管理

  • 员工信息管理

 

什么是集群信息管理?

额,这个架构设计中最容易忽略的部分,《》一文已经有过描述,文本不再展开。


以下是通过全局配置文件,实现集群信息集中管理,一个global.config举例:

[user.service]

ip.list : ip1, ip2, ip3

port : 8080

bin.path : /user.service/bin/

log.path : /user.service/log/

conf.path : /user.service/conf/

ftp.path:ftp://192.168.0.1/USER_2_0_1_3/user.exe

owner.list : shenjian, zhangsan, lisi

 

从这里,监控中心能够知道被监控的是 [user.service] 集群,有三个实例部署在 ip1/ip2/ip3 上,如果发生异常,要将告警发送给 shenjian, zhangsan, lisi 三个模块直接负责人。

 

什么是员工信息?

额,顾名思义,是员工基础信息的管理(额,这算什么解释)。和集群信息管理一样,员工信息的管理一定要集中化,不能分散在各处(分散的坏处是耦合,在一文里谈得很多了)。

 

员工信息管理的实现方式主要有两种:

  • 员工信息管理服务

  • 全局员工信息配置

 

如何通过员工信息管理服务集中管理员工信息?

如上图,建立员工信息管理服务,绝大部分公司应该都是这么统一管理员工信息的,这个服务和HR系统结合应该是非常紧密的,即使是外采的HR系统,肯定有相关的模块管理员工信息,相关的数据库存储员工信息。

 

如何通过全局配置文件集中管理员工信息?

如果不考虑和HR系统的打通,而只考虑监控系统,分级告警的需求,完全可以通过配置文件来管理系统负责人信息,例如global.owner.config

[shenjian]

department : tech

leader : sandy

email : XX@OO.com

phone :15912345678

dingding : 15912345678@dingding.com

wechat : XXOO


四、总结

要开发统一监控平台,至少有两个基础模块:

  • 集群信息统一管理

  • 员工信息统一管理

 

统一监控平台,不能一异常就告警,太不人性化,要实现统一的分级告警策略:

  • 模块告警收敛策略:按照集群名称做去重

  • 接口告警收敛策略:按照接口名称做去重

  • 告警频率收敛策略:按照M分钟N次限制告警

  • 不同时段区分告警方式策略:工作日/非工作日,白天/夜晚区分

  • 逐层上报告警策略:先模块负责人告警,n分钟未恢复升级,m分钟未恢复再升级

  • 黑白跳动策略:当系统由正常变为异常,异常恢复正常都通报

 

员工信息管理,需要注意:

  • 避免分散管理,导致耦合

  • 应当集中管理,有两种常见的实现方式,统一服务/统一全局配置

 

五、调研

调研一、对于监控平台,你的感受是:

  • ca1,无监控平台,都是用户反馈系统挂了

  • 有机器层面的监控,有nginx层面404监控

  • 有异常日志监控,有服务接口监控

  • 头疼,有各种奇形怪状的警示灯,蜂鸣器告警,压力异常之大

 

调研二、对于人性化告警,你的感受是:

  • ca2,没有监控,谈不上告警

  • ca3,没有考虑人性化,每次手机短信响起,就紧张,每次批量收到告警,压力就很大

  • 有区分工作日/周末,白天/黑夜的告警策略区分

  • 有收敛,去重,逐层上报的告警策略区分


嗯,有道理,得转发一下。


下期预告:统一http接口监控平台

本期推荐:《》

以上是关于分级告警策略,人性化系统监控?的主要内容,如果未能解决你的问题,请参考以下文章

Shell告警系统(需求分析,告警系统主脚本,告警系统配置文件,告警系统监控项目)

监控系统脚本

shell建设告警系统

01监控概述

Zabbix监控

36 shell-告警系统