Prometheus+alertmanager告警配置-2

Posted anay

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Prometheus+alertmanager告警配置-2相关的知识,希望对你有一定的参考价值。

prometheus 告警

prometheus 通过alertmanager进行告警

实现监控告警的步骤:

  • 在prometheus中定义告警规则rule_files
  • alertmanager配置告警告警动作,分组,抑制,静默等功能
  • alertmanager安装route定义的规则向终端:邮箱,企业微信等发生告警信息

监控服务端主机下载安装alertmanager
alertmanager可以和prometheus主机安装在一起,也可以独立部署在一台主机。这里部署在一台主机

[root@localhost ~]# tar zxf alertmanager-0.19.0.linux-amd64.tar.gz 
[root@localhost ~]# mv alertmanager-0.19.0.linux-amd64 /usr/local/alertmanager

alertmanager主配置文件: alertmanager.yml内容标注

global:                # 全局配置
  resolve_timeout: 5m  #解析超时时间

route:             # 配置告警发送,接受规则
  group_by: ['alertname']  # 根据标签分组
  group_wait: 10s          # 发送告警等待时间,为了合并相同告警一起发送
  group_interval: 10s      # 发送告警间隔时间
  repeat_interval: 10m      # 重复告警时间,控制发送告警频率,根据情况设置
  receiver: 'web.hook'     # 定义接收者类型:mail,wechat等
receivers:        # 定义告警发给谁
- name: 'web.hook'
  webhook_configs:
  - url: 'http://127.0.0.1:5001/'
inhibit_rules:   # 告警抑制规则
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

配置163邮箱接收告警

  • alertmanager服务中配置,修改alertmanager.yml
global:
  resolve_timeout: 5m

  smtp_smarthost: 'smtp.163.com:25' # 定义163邮箱服务器端
  smtp_from: 'gudaoyufu@163.com'  #来自哪个邮箱发的
  smtp_auth_username: 'gudaoyufu@163.com' 邮箱验证
  smtp_auth_password: 'XXXXXXXX'   # 邮箱授权码,不是登录密码
  smtp_require_tls: false   # 是否启用tls

route:
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 3m  # 发送告警后间隔多久再次发送,减少发送邮件频率
  receiver: 'mail'    #发送的告警媒体

receivers:
- name: 'mail'        # 接收者配置,这里要与接收媒体一致
  email_configs: 
  - to: 'gudaoyufu@163.com' #发送给谁的邮箱,多个人多行列出
#inhibit_rules:
#  - source_match:
#      severity: 'critical'
#    target_match:
#      severity: 'warning'
#    equal: ['alertname', 'dev', 'instance']
  • 检查配置:
[root@localhost alertmanager]# ./amtool check-config alertmanager.yml
Checking 'alertmanager.yml'  SUCCESS
Found:
 - global config
 - route
 - 0 inhibit rules
 - 1 receivers
 - 0 templates
  • 启动alertmanager
[root@localhost alertmanager]# ./alertmanager --config.file=./alertmanager.yml &

配置prometheus与alertmanager通信

上面的配置只是配置alertmanagerr服务,接下来配置prometheus与alertmanager通信

  • 配置prometheus告警规则
    官方配置文档参考:https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/
[root@localhost ~]# cd /usr/local/prome/
[root@localhost prome]# vim prometheus.yml

#启用如需配置段

alerting:
  alertmanagers:
  - static_configs:
    - targets:
      - 127.0.0.1:9093

# 配置告警规则
rule_files:
   - "rules.yml"   # 默认路径在配置文件同级目录下
  • 编辑rules.yml

vim rules.yml

groups:     # 报警组
- name: Node
  rules:

  # Alert for any instance that is unreachable for >5 minutes.
  - alert: InstanceDown
    expr: up == 0   # 监控状态的值为 0时,说明服务异常,1为正常
    for: 5m  # 保持时间,上面的状态持续时间内都为 0 ,则触发告警
    labels:
      severity: error
    annotations:
      summary: "Instance {{ $labels.instance }} 停止工作"
      description: "{{ $labels.instance }} of job {{ $labels.job }} 已经停止1分钟以上."
  • 检查配置
[root@localhost prome]# ./promtool check config prometheus.yml
Checking prometheus.yml
  SUCCESS: 1 rule files found

Checking rules.yml
  SUCCESS: 1 rules found
  • 重启prometheus
systemctl start prometheus

重启prometheus后在prometheus服务端页面中的alters中可以看到rules

测试停掉其他节点的监控agent

#停掉cadvisor
[root@localhost ~]# docker stop e9e9499bcf2b
e9e9499bcf2b

一会后http://192.168.235.130:9090/alerts中的状态为Firing,此时邮件已经发出去了,登录邮箱已经看到告警邮件了

告警状态

  • Inactive : 正常状态
  • Pending : 已经触发阈值,但还未满足告警持续时间
  • Firing : 已经触发阈值并且满足告警持续时间,警报发送给了接收者

  • 分组: 将类似性质的告警分类成单个通知

route:             # 配置告警发送,接受规则
  group_by: ['alertname']  # 根据标签分组
  group_wait: 10s          # 发送告警等待时间,为了合并相同告警一起发送
  group_interval: 10s      # 发送告警间隔时间
  repeat_interval: 10m      # 重复告警时间,控制发送告警频率,根据情况设置
  • 抑制: 当告警发出后,将停止重复发送由此报警引发的其他告警,消除冗余的告警
inhibit_rules:
  - source_match:  # 高级别告警源
      severity: 'critical'  
    target_match:   # 低级别的告警被抑制不会发送
      severity: 'warning'  
    equal: ['alertname', 'dev', 'instance']  #抑制匹配
  • 静默: 是一种简单的特定时间静音提醒的机制

配置静默通过alertmanager服务的9093端口服务,界面创建静默规则

http://192.168.235.130:9093/#/silences

以上是关于Prometheus+alertmanager告警配置-2的主要内容,如果未能解决你的问题,请参考以下文章

Prometheus配置alertmanager告警邮件通知

prometheus+grafana+Alertmanager邮箱告警

alertmanager 告警写入kafka 及 k8s 部署prometheus alertmanager

Prometheus+Grafana+alertmanager+ 邮件 +钉钉告警

5.prometheus告警插件-alertmanager自定义webhook案例编写

Prometheus告警收敛