基于docker部署prometheus监控平台

Posted 2020-12-18 lanist

一、prometheus介绍

Prometheus是一套开源的系统监控报警框架。Prometheus作为新一代的云原生监控系统，相比传统监控监控系统（Nagios或者Zabbix）拥有如下优点。

易管理性
Prometheus: Prometheus核心部分只有一个单独的二进制文件，可直接在本地工作，不依赖于分布式存储。
Nagios: 需要有专业的人员进行安装，配置和管理，并且过程很复杂。

业务数据相关性
Prometheus：监控服务的运行状态，基于Prometheus丰富的Client库，用户可以轻松的在应用程序中添加对Prometheus的支持，从而让用户可以获取服务和应用内部真正的运行状态。
Nagios:大部分的监控能力都是围绕系统的一些边缘性的问题，主要针对系统服务和资源的状态以及应用程序的可用性。
另外Prometheus还存在以下优点：

高效：单一Prometheus可以处理数以百万的监控指标；每秒处理数十万的数据点。

易于伸缩：通过使用功能分区（sharing）+联邦集群（federation）可以对Prometheus进行扩展，形成一个逻辑集群；Prometheus提供多种语言的客户端SDK，这些SDK可以快速让应用程序纳入到Prometheus的监控当中。

良好的可视化：Prometheus除了自带有Prometheus UI，Prometheus还提供了一个独立的基于Ruby On Rails的Dashboard解决方案Promdash。另外最新的Grafana可视化工具也提供了完整的Proetheus支持，基于Prometheus提供的API还可以实现自己的监控可视化UI。

二、prometheus框架

参考官网：官网

 

Prometheus Server：Prometheus Sever是Prometheus组件中的核心部分，负责实现对监控数据的获取，存储及查询。Prometheus Server可以通过静态配置管理监控目标，也可以配合使用Service Discovery的方式动态管理监控目标，并从这些监控目标中获取数据。其次Prometheus Sever需要对采集到的数据进行存储，Prometheus Server本身就是一个实时数据库，将采集到的监控数据按照时间序列的方式存储在本地磁盘当中。Prometheus Server对外提供了自定义的PromQL，实现对数据的查询以及分析。另外Prometheus Server的联邦集群能力可以使其从其他的Prometheus Server实例中获取数据。

Exporters：Exporter将监控数据采集的端点通过HTTP服务的形式暴露给Prometheus Server，Prometheus Server通过访问该Exporter提供的Endpoint端点，即可以获取到需要采集的监控数据。可以将Exporter分为2类：
直接采集：这一类Exporter直接内置了对Prometheus监控的支持，比如cAdvisor，Kubernetes，Etcd，Gokit等，都直接内置了用于向Prometheus暴露监控数据的端点。
间接采集：原有监控目标并不直接支持Prometheus，因此需要通过Prometheus提供的Client Library编写该监控目标的监控采集程序。例如：mysql Exporter，JMX Exporter，Consul Exporter等。

AlertManager：在Prometheus Server中支持基于Prom QL创建告警规则，如果满足Prom QL定义的规则，则会产生一条告警。在AlertManager从 Prometheus server 端接收到 alerts后，会进行去除重复数据，分组，并路由到对收的接受方式，发出报警。常见的接收方式有：电子邮件，pagerduty，webhook 等。

PushGateway:Prometheus数据采集基于Prometheus Server从Exporter pull数据，因此当网络环境不允许Prometheus Server和Exporter进行通信时，可以使用PushGateway来进行中转。通过PushGateway将内部网络的监控数据主动Push到Gateway中，Prometheus Server采用针对Exporter同样的方式，将监控数据从PushGateway pull到Prometheus Server。

三、Prometheus的工作流：

1.Prometheus server定期从配置好的jobs或者exporters中拉取metrics，或者接收来自Pushgateway发送过来的metrics，或者从其它的Prometheus server中拉metrics。
2.Prometheus server在本地存储收集到的metrics，并运行定义好的alerts.rules，记录新的时间序列或者向Alert manager推送警报。
3.Alertmanager根据配置文件，对接收到的警报进行处理，发出告警。
4.在图形界面中，可视化采集数据。

四、基础环境

	主机名	IP	描述
监控主机	pro01	192.168.253.42	docker, prometheus, grafana, exporter,alertmanager
被监控主机	exp02	192.168.253.57 192.168.253.42	exporter

 

 

 

 

五、prometheus安装 

docker的安装这里就不说了。

docker pull prom/prometheus

5.1 创建prometheus工作目录

mkdir -p /data/prometheus
mkdir /data/prometheus/data
chown 777 /data/prometheus/data
mkdir /data/prometheus/rules

 

 

 编写prometheus.yml文件

chown 777 /data/prometheus/prometheus.yml

vim /data/prometheus/prometheus.yml

# my global config
global:
  scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
  - static_configs:
    - targets: [‘193.168.253.42:9093‘]
      # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global ‘evaluation_interval‘.
rule_files:
  - "node_down.yml"
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it‘s Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: ‘prometheus‘
    static_configs:
    - targets: [‘localhost:9090‘]- job_name: ‘node‘
    scrape_interval: 8s
    static_configs:
      - targets: [‘193.168.253.42:9100‘]

以上yml文件，配置了alertmanager,用于告警，匹配规则为node_down，节点如果down掉就会触发警告，job_name 有三个，监控本机9090，8080，9100端口，分别为三种不同的组件

启动prometheus

docker run  -d -p 9090:9090 -v /data/prometheus/data:/prometheus -v /data/prometheus:/etc/prometheus --name pro prom/prometheus

 

 

 浏览器访问

 

六、安装grafana

拉取镜像

docker pull grafana/grafana

启动grafana

docker run -p -d  3000:3000 --name grafana grafana/grafana

查看容器

 

 

 浏览器访问

浏览器访问http://192.168.253.42:3000（IP:3000端口），即可打开grafana页面，默认用户名密码都是admin，初次登录会要求修改默认的登录密码

 

 添加prometheus数据源

(1)点击主界面"Add your first data source"

 

（2）选择Prometheus

 

（3）填写数据源设置项

URL处填写Prometheus服务所在的IP地址，此处我们将Prometheus服务与Grafana安装在同一台机器上，直接填写localhost或者ip就行

 

 

  点击下方 【Save & Test】按钮，保存设置

 

（4）Dashboards页面选择“Prometheus 2.0 Stats”

点击Dashboards选项卡，选择Prometheus 2.0 Stats

（5）查看监控

点击Grafana图标，切换到Grafana主页面，然后点击Home，选择我们刚才添加的Prometheus 2.0 Stats，即可看到监控数据

 

 

 

 

 

 七、安装node-exporter

以下操作皆在被监控主机（pro01,exp02）上操作。

下载node-exporter地址：https://github.com/prometheus/node_exporter/releases

解压node-exporter

tar xzf node_exporter-0.18.1.linux-amd64.tar.g 
mv node_exporter-0.18.1.linux-amd64 /data/node_exporter

启动

cd /data/node_exporter
./node_exporter

 

 浏览器访问

 

设置node_exporter 以服务的方式启动并设置开机自启

添加系统服务

 vim /etc/systemd/system/node_exporter.service

[Unit]
Description=node_exporter
After=network.target 

[Service]
ExecStart=/data/node_exporter/node_exporter
Restart=on-failure

[Install]
WantedBy=multi-user.target

启动服务，设置开机自启，并检查服务开启状态

#  systemctl daemon-reload
#  systemctl enable node_exporter
#  systemctl start node_exporter
#  systemctl status node_exporter

 

 浏览器访问：

 

 

 八、安装alertmanager

拉取镜像：

docker pull prom/alertmanager

创建工作目录

mkdir -p /data/alertmanager/storage
mkdir  /data/alertmanager/template
chown 777 /data/alertmanager/storage

 

 

 修改配置

vim /data/alertmanager/alertmanager.yml

global:
  smtp_smarthost: ‘smtp.qq.com:465‘       #smtp地址
  smtp_from: ‘[e-mail]‘          #谁发邮件
  smtp_auth_username: ‘[e-mail]‘ #邮箱用户
  smtp_auth_password: ‘xxxxxxx‘           #邮箱smtp授权码
  smtp_require_tls: false

templates:  #定义模板
  - ‘template/*.tmp1‘
route:
  group_by: [‘alertname‘] #分组名
  group_wait: 30s         #当收到警报，等待30秒看是否还有警报，如果有就一起发出去
  group_interval: 5m      # 发送警告间隔时间
  repeat_interval: 3h     # 重复报警的间隔时间
  receiver: mail          # 全局报警组，这个参数是必选的，和下面报警组名要相同

receivers:
- name: ‘mail‘            # 报警组名
  email_configs:
  - to: ‘{{ template "email.to" . }}‘ #发送给谁
    html: ‘{{ template "email.to.html" . }}‘
    send_resolved: true

#告警抑制
inhibit_rules:
  - source_match:
      severity: ‘critical‘
    target_match:
      severity: ‘warning‘
    equal: [‘alertname‘, ‘dev‘, ‘instance‘]

 

简单介绍一下主要配置的作用：

global: 全局配置，包括报警解决后的超时时间、SMTP 相关配置、各种渠道通知的 API 地址等等。
route: 用来设置报警的分发策略，它是一个树状结构，按照深度优先从左向右的顺序进行匹配。
receivers: 配置告警消息接受者信息，例如常用的 email、wechat、slack、webhook 等消息通知方式。
inhibit_rules: 抑制规则配置，当存在与另一组匹配的警报（源）时，抑制规则将禁用与一组匹配的警报（目标）。

新建模板：

vim /data/alertmanager/template/email.tmpl

{{ define "email.from" }}[e-mail]{{ end }}
{{ define "email.to" }}[e-mail]{{ end }}
{{ define "email.to.html" }}
{{ range .Alerts }}
=========start==========<br>
告警程序: prometheus_alert <br>
告警级别: {{ .Labels.severity }} 级 <br>
告警类型: {{ .Labels.alertname }} <br>
故障主机: {{ .Labels.instance }} <br>
告警主题: {{ .Annotations.summary }} <br>
告警详情: {{ .Annotations.description }} <br>
触发时间: {{ .StartsAt.Format "2019-08-04 16:58:15" }} <br>
=========end==========<br>
{{ end }}
{{ end }}

说明：

define 用来定义变量，配置3个变量，分别是：email.from、email.to、email.to.html ，可以在 alertmanager.yml 文件中直接配置引用。

这里 email.to.html 就是要发送的邮件内容，支持 Html 和 Text 格式。为了显示好看，采用 Html 格式简单显示信息。 

{{ range .Alerts }} 是个循环语法，用于循环获取匹配的 Alerts 的信息，下边的告警信息跟上边默认邮件显示信息一样，只是提取了部分核心值来展示。

 

启动服务

docker run -d   -p 9093:9093   --name alertmanager   --restart=always   -v /data/alertmanager:/etc/alertmanager   -v /data/alertmanager/storage:/alertmanager   prom/alertmanager

浏览器访问：

http://192.168.253.42:9093

 

 

 

九、prometheus监控报警

根据prometheus.yml文件，编写匹配规则

cd /data/prometheus/rules

vim node_down.yml

groups:
- name: node-up
  rules:
  - alert: node-up
    expr: up{job="node-exporter"} == 0
    for: 15s
    labels:
      severity: 1
      team: node
    annotations:
      summary: "{{ $labels.instance }} 已停止运行!"
      description: "{{ $labels.instance }} 检测到异常停止！请重点关注！！！"

 

vim memory_over.yml

expr 是计算公式，(1 - (node_memory_MemAvailable_bytes / (node_memory_MemTotal_bytes))) * 100 表示获取内存使用率

groups:
- name: example
  rules:
  - alert: NodeMemoryUsage
    expr: (1 - (node_memory_MemAvailable_bytes / (node_memory_MemTotal_bytes))) * 100 > 80
    for: 1m
    labels:
      severity: warning
    annotations:
      summary: "{{$labels.instance}}: High Memory usage detected"
      description: "{{$labels.instance}}: Memory usage is above 80% (current value is:{{ $value }})"

 

重启peometheus

docker restart pro

 

访问告警页面

http://192.168.253.42:9090/alerts

 

 

测试报警

这里直接修改 /data/prometheus/rules/memory_over.yml文件，告警阈值改为10

expr: (1 - (node_memory_MemAvailable_bytes / (node_memory_MemTotal_bytes))) * 100 > 10

重启prometheus

docker restart pro

等待一分钟，出pending

 

 再等待一分钟，会出现Firing

 

 

查看邮件

 

 如果有没收到邮件，查看日志

docker logs -f alertmanager