在 AlertManager 报警通知中展示监控图表

Posted k8s技术圈

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了在 AlertManager 报警通知中展示监控图表相关的知识，希望对你有一定的参考价值。

之前用 Python 实现了一个非常简陋的 AlertManager 的钉钉接收器，一直想在钉钉的消息通知中将当前报警图表也展示出来，这样显然对用户来说更加友好。之前想的思路是通过爬虫的方式去 Prometheus 页面将 Graph 图形截图保存下来，该方式理论上确实是可行的，但是这种方式不稳定因素较多，而且会占用大量的资源。

今天换了另外一种方式来实现，直接去绘制渲染报警图表，然后上传到对象存储中保存起来，在钉钉中就可以直接展示了，Promoter 就是这个方案的一个实现，支持在消息通知中展示实时报警图表，效果图如下所示：

目前是将报警数据渲染成图片后上传到 S3 对象存储，所以需要配置一个对象存储（阿里云 OSS 也可以），此外消息通知展示样式支持模板定制，该功能参考自项目 https://github.dev/timonwong/prometheus-webhook-dingtalk。

部署，在 Kubernetes 中部署可以直接参考 deploy/kubernetes/promoter.yaml。

启动完成后在 AlertManager 配置中指定 Webhook 地址即可：

route:
  group_by: [\'alertname\', \'cluster\']
  group_wait: 30s
  group_interval: 2m
  repeat_interval: 1h
  receiver: webhook

receivers:
- name: \'webhook\'
  webhook_configs:
  - url: \'http://promoter.kube-mon.svc.cluster.local:8080/webhook\'  # 配置 promoter 的 webhook 接口
    send_resolved: true
核心原理

该项目采用 golang 实现，Webhook 的实现很简单，这里的核心部分是如何渲染监控图表，核心方式是通过 Prometheus 的 API 接口来获取查询的指标数据：

func Metrics(server, query string, queryTime time.Time, duration, step time.Duration) (promModel.Matrix, error) 
 client, err := prometheus.NewClient(prometheus.ConfigAddress: server)
 if err != nil 
  return nil, fmt.Errorf("failed to create Prometheus client: %v", err)
 

 api := prometheusApi.NewAPI(client)
 value, _, err := api.QueryRange(context.Background(), query, prometheusApi.Range
  Start: queryTime.Add(-duration),
  End:   queryTime,
  Step:  duration / step,
 )
 if err != nil 
  return nil, fmt.Errorf("failed to query Prometheus: %v", err)
 

 metrics, ok := value.(promModel.Matrix)
 if !ok 
  return nil, fmt.Errorf("unsupported result format: %s", value.Type().String())
 

 return metrics, nil

然后将获取的指标绘制出来，图形绘制使用的 gonum.org/v1/plot 这个包来实现的：

func PlotMetric(metrics promModel.Matrix, level float64, direction string) (io.WriterTo, error) 
 p, err := plot.New()
 if err != nil 
  return nil, fmt.Errorf("failed to create new plot: %v", err)
 

 textFont, err := vg.MakeFont("Helvetica", 3*vg.Millimeter)
 if err != nil 
  return nil, fmt.Errorf("failed to load font: %v", err)
 

 evalTextFont, err := vg.MakeFont("Helvetica", 5*vg.Millimeter)
 if err != nil 
  return nil, fmt.Errorf("failed to load font: %v", err)
 

 evalTextStyle := draw.TextStyle
  Color:  color.NRGBAA: 150,
  Font:   evalTextFont,
  XAlign: draw.XRight,
  YAlign: draw.YBottom,
 

 p.X.Tick.Marker = plot.TimeTicksFormat: "15:04:05"
 p.X.Tick.Label.Font = textFont
 p.Y.Tick.Label.Font = textFont
 p.Legend.Font = textFont
 p.Legend.Top = true
 p.Legend.YOffs = 15 * vg.Millimeter

 // Color palette for drawing lines
 paletteSize := 8
 palette, err := brewer.GetPalette(brewer.TypeAny, "Dark2", paletteSize)
 if err != nil 
  return nil, fmt.Errorf("failed to get color palette: %v", err)
 
 colors := palette.Colors()

 var lastEvalValue float64

 for s, sample := range metrics 
  data := make(plotter.XYs, 0)
  for _, v := range sample.Values 
   fs := v.Value.String()
   if fs == "NaN" 
    _, err := drawLine(data, colors, s, paletteSize, p, metrics, sample)
    if err != nil 
     return nil, err
    

    data = make(plotter.XYs, 0)
    continue
   

   f, err := strconv.ParseFloat(fs, 64)
   if err != nil 
    return nil, fmt.Errorf("sample value not float: %s", v.Value.String())
   
   data = append(data, plotter.XYX: float64(v.Timestamp.Unix()), Y: f)
   lastEvalValue = f
  

  _, err := drawLine(data, colors, s, paletteSize, p, metrics, sample)
  if err != nil 
   return nil, err
  
 

 var polygonPoints plotter.XYs

 if direction == "<" 
  polygonPoints = plotter.XYsX: p.X.Min, Y: level, X: p.X.Max, Y: level, X: p.X.Max, Y: p.Y.Min, X: p.X.Min, Y: p.Y.Min
  else 
  polygonPoints = plotter.XYsX: p.X.Min, Y: level, X: p.X.Max, Y: level, X: p.X.Max, Y: p.Y.Max, X: p.X.Min, Y: p.Y.Max
 

 poly, err := plotter.NewPolygon(polygonPoints)
 if err != nil 
  return nil, err
 
 poly.Color = color.NRGBAR: 255, A: 40
 poly.LineStyle.Color = color.NRGBAR: 0, A: 0
 p.Add(poly)
 p.Add(plotter.NewGrid())

 // Draw plot in canvas with margin
 margin := 6 * vg.Millimeter
 width := 20 * vg.Centimeter
 height := 10 * vg.Centimeter
 c, err := draw.NewFormattedCanvas(width, height, "png")
 if err != nil 
  return nil, fmt.Errorf("failed to create canvas: %v", err)
 

 cropedCanvas := draw.Crop(draw.New(c), margin, -margin, margin, -margin)
 p.Draw(cropedCanvas)

 // Draw last evaluated value
 evalText := fmt.Sprintf("latest evaluation: %.2f", lastEvalValue)

 plotterCanvas := p.DataCanvas(cropedCanvas)

 trX, trY := p.Transforms(&plotterCanvas)
 evalRectangle := evalTextStyle.Rectangle(evalText)

 points := []vg.Point
  X: trX(p.X.Max) + evalRectangle.Min.X - 8*vg.Millimeter, Y: trY(lastEvalValue) + evalRectangle.Min.Y - vg.Millimeter,
  X: trX(p.X.Max) + evalRectangle.Min.X - 8*vg.Millimeter, Y: trY(lastEvalValue) + evalRectangle.Max.Y + vg.Millimeter,
  X: trX(p.X.Max) + evalRectangle.Max.X - 6*vg.Millimeter, Y: trY(lastEvalValue) + evalRectangle.Max.Y + vg.Millimeter,
  X: trX(p.X.Max) + evalRectangle.Max.X - 6*vg.Millimeter, Y: trY(lastEvalValue) + evalRectangle.Min.Y - vg.Millimeter,
 
 plotterCanvas.FillPolygon(color.NRGBAR: 255, G: 255, B: 255, A: 90, points)
 plotterCanvas.FillText(evalTextStyle, vg.PointX: trX(p.X.Max) - 6*vg.Millimeter, Y: trY(lastEvalValue), evalText)

 return c, nil


func drawLine(data plotter.XYs, colors []color.Color, s int, paletteSize int, p *plot.Plot, metrics promModel.Matrix, sample *promModel.SampleStream) (*plotter.Line, error) 
 var l *plotter.Line
 var err error
 if len(data) > 0 
  l, err = plotter.NewLine(data)
  if err != nil 
   return &plotter.Line, fmt.Errorf("failed to create line: %v", err)
  

  l.LineStyle.Width = vg.Points(1)
  l.LineStyle.Color = colors[s%paletteSize]

  p.Add(l)
  if len(metrics) > 1 
   m := labelText.FindStringSubmatch(sample.Metric.String())
   if m != nil 
    p.Legend.Add(m[1], l)
   
  
 

 return l, nil

更多实现细节可以前往项目 https://github.com/cnych/promoter 查看。

技术分享| 如何使用Prometheus实现系统监控报警邮件通知

上一篇关于Prometheus的文章中说到了Prometheus是如何实现进程监控。在实际的线上环境中，当系统进程出现异常后需要实时通知到值班运维人员，去检查系统是否还正常运转。下面我们就介绍下基于Prometheus如何实现监控报警通知。

Prometheus的报警通知，是利用其组件AlertManager，Alertmanager接收Prometheus等客户端发来的警报，之后通过分组，删除重复等处理，并将它们通过路由发送给正确的接收器。告警方式可以按照不同的规则发送给不同的模块负责人，Alertmanager支持Wechat, Email, Webhook等告警方式, 其中Webhook可以接入钉钉等聊天工具。

报警流程

  • Prometheus配置监控规则
  • 监控对象触发阈值
  • 阈值超出持续时间
  • 推送告警到Alertmanager
  • Alertmanager处理告警信息
    1）分组(group)：类似告警合并为一个通知。
    2）静默(silences)：不通知，系统升级时使用。
    3）抑制(inhibition): 只通知一次，相同内容不再通知。
  • Alertmanager发送通知到媒体，邮箱，钉钉，企业微信等接收到通知

安装部署AlertManager

部署alertermanager

下载二进制文件

wget https://github.com/prometheus/alertmanager/releases/download/v0.24.0/alertmanager-0.24.0.linux-amd64.tar.gz

tar zxvf alertmanager-0.24.0.linux-amd64.tar.gz
mv alertmanager-0.24.0.linux-amd64 /apps/alertmanager

创建alertermanager服务

vim /etc/systemd/system/alertmanager.service

[Unit]
Description=alertmanager
Documentation=https://prometheus.io/
After=network.target

[Service]
User=root
Type=simple
#不能有单引号和双引号
ExecStart=/home/prometheus/alertmanager/alertmanager/alertmanager --config.file=/home/prometheus/alertmanager/alertmanager/alertmanager.yml --storage.path=/home/prometheus/alertmanager/alertmanager/data --web.listen-address=:19093 --cluster.listen-address=0.0.0.0:19094 --web.external-url=http://192.168.1.108:19093
Restart=on-failure

[Install]
WantedBy=multi-user.target

启动服务：

systemctl daemon-reload
systemctl enable --now alertmanager
systemctl status alertmanager

访问 192.168.1.108:19093 为alertmanager管理页面：

Alertmanager配置

配置文件详解，以邮箱告警为例：

vim /home/prometheus/alertmanager/alertmanager/alertmanager.yml
#邮件发送者
global:
  resolve_timeout: 30s
  smtp_smarthost: 'smtp.qq.com:465' 
  smtp_from: '809xxx59@qq.com' 
  smtp_auth_username: '80xxx4859@qq.com' 
  smtp_auth_password: 'xxxxxxxxvpobcee'
  smtp_hello: '@qq.com'
  smtp_require_tls: false

templates:
  - '/home/prometheus/alertmanager/alertmanager/tmpl/email.tmpl'  #增加templates配置
route:
  group_by: ['alertname']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 5m
  receiver: 'email'
  routes:
  - receiver: dingtalk-webhook
    group_wait: 10s
  - receiver: email
    group_wait: 10s
receivers:
  - name: 'email'
    email_configs:
      - to: 'niuming@dync.cc'
        send_resolved: true
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

项目 Value

Prometheus规则

新建规则文件，配置分组信息，告警阈值和时间，告警标签和注释等。

指标表达式采用PromQL语句，多数指标单位为bytes字节，需要转换成KMG，例如2M=210241024。

Prometheus规则文件，对于邮箱，钉钉或企业微信，该文件通用：

vim /home/prometheus/prometheus/rule/qtalk_auth.yaml
groups:
 - name: qtalk_auth 程异常退出
   rules:
   - alert: 应用进程 qtalk_auth 异常退出 # 告警名称
     expr: (namedprocess_namegroup_num_procsgroupname="map[:qtalk_auth]") == 0
     for: 30s # 满足告警条件持续时间多久后，才会发送告警
     labels: #标签项
        severity: error
        ip: 192.168.1.108
     annotations: # 解析项，详细解释告警信息
         summary: "进程异常报警 Alert  $labels.instance  ，异常停止超过30秒."
         description: "$labels.ip 进程$labels.groupname 异常停止！请立即查看!"

检验prometheus报警规则文件，显示SUCCESS：

/home/prometheus/prometheus/promtool check rules rule/qtalk_auth.yml
Checking rule/qtalk_auth.yml
  SUCCESS: 1 rules found

Prometheus配置

配置Prometheus文件，alertmanagers服务器的IP和端口，prometheus服务器规则文件的路径：

vim /home/Prometheus/prometheus/prometheus.yml
# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["192.168.1.108:19093"]
           #- alertmanager:["192.168.1.108:19093"]

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
 - "rule/*.yml"
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ["localhost:9090"]

  - job_name: 'process'
    static_configs:
      - targets: ['192.168.1.108:9256']

重启Prometheus服务：

systemctl restart prometheus.service

邮箱告警

查看Prometheus

Prometheus首页，Alerts选项，可以查看告警信息：

报警状态分3种：

  • inactive：没有异常。
  • pending：已触发阈值，但未满足告警持续时间（即 rule 中的 for 字段）。
  • firing：已触发阈值且满足条件并发送至 alertmanager。

pending状态，阈值触发了，但再观察30m秒(for: 30s)。

firing状态，30秒过后还超出阈值，则发送至alertmanager。

查看Alertmanager

只有在Prometheus中Firing的警告才会传到Alertmanager，进入首页查看。

查看邮箱

Prometheus发送告警给alertmanager后，alertmanager根据通知设置，将报警消息通过邮箱发送：

发邮件时，都是根据配置规则中时间间隔进行的邮件推送。（可在配置文件修改）

至此，一个简单的基于Prometheus的系统监控及报警通知的服务都搭建完成，利用这样一套监控通知体系，可以让系统运维人员早早的知道系统健康度，保证系统高可用。

参考文档

prometheus

prometheus 发送恢复 值_Prometheus-基础系列-(五)-报警体系-2

Prometheus — AlertManager配置说明

以上是关于在 AlertManager 报警通知中展示监控图表的主要内容，如果未能解决你的问题，请参考以下文章

技术分享| 如何使用Prometheus实现系统监控报警邮件通知

Prometheus配合Alertmanager报警系统

alertmanager报警添加企业微信监控报警

k8s node alertmanager监控报警配置方法

轻松搭建Prometheus监控容器服务

Promethus学习系列（三十五）之报警简介