技术分享| 如何使用Prometheus实现系统进程监控

Posted 2023-01-04 anyRTC

如何监控线上正在运营的系统？如何得知系统目前是正常还是异常？ Prometheus是这么一套数据监控解决方案。它能让运维及开发人员随时掌控系统的运行状态，快速定位出现问题的位置，快速排除故障。只要按照 Prometheus的方式来做，按部就班地学习和部署，我们就可以监控机器的 CPU、内存等资源的使用情况、应用程序的运行情况以及业务各项指标的实时数据。并且其与Grafana 配套使用可以呈现出非常多样化的图表配置。对于中小规模的团队来说，可以极大地减少成本，加快研发速度。

一、概述

初识Prometheus

Prometheus 是由 SoundCloud 开发的开源监控报警系统和时序列数据库。从字面上理解，Prometheus 由两个部分组成，一个是监控报警系统，另一个是自带的时序数据库（TSDB）。

2016 年，由 Google 发起的 Linux 基金会旗下的云原生计算基金会（CNCF）将 Prometheus 纳入作为其第二大开源项目。Prometheus 在开源社区也十分活跃，在 GitHub 上拥有4万多 Star,差不多8K的Fork，并且系统每隔一两周就会有一个小版本的更新。

Prometheus架构

从上图可以看到，整个 Prometheus 可以分为四大部分，分别是：

Prometheus 服务器

Prometheus Server 是 Prometheus组件中的核心部分，负责实现对监控数据的获取，存储以及查询。

Process-exporter业务数据源

业务数据源通过 Pull/Push 两种方式推送数据到 Prometheus Server。

AlertManager 报警管理器

Prometheus 通过配置报警规则，如果符合报警规则，那么就将报警推送到 AlertManager，由其进行报警处理。

可视化监控界面

Prometheus 收集到数据之后，由 WebUI 界面进行可视化图标展示。目前我们可以通过自定义的 API 客户端进行调用数据展示，也可以直接使用 Grafana 解决方案来展示。
Prometheus 的实现架构并不复杂。其实就是收集数据、处理数据、可视化展示，再进行数据分析进行报警处理。但其珍贵之处在于提供了一整套可行的解决方案，并且形成了一整个生态，能够极大地降低我们的研发成本。

进程监控服务组件的搭建

下面我们介绍一下使用Prometheus实现进程监控我们需要搭建的组件：Prometheus + Process-exporter + Grafana。由于目前是在内网验证阶段， 所以三个组件均安装在同一台服务器上面（系统：centos7.8）。

安装Prometheus

首先先去官网下载对应系统的版本。
下载后上传到部署的服务器，解压：

tar  -vxf  prometheus-2.40.5.linux-amd64.tar.gz

编辑系统服务启动文件

vi/usr/lib/systemd/system/prometheus.service 
[Unit]
Description=prometheus
After=network.target

[Service]
Type=simple
ExecStart=/home/prometheus/prometheus/prometheus --config.file=/home/prometheus/prometheus/prometheus.yml --storage.tsdb.path=/home/prometheus/prometheus/data --storage.tsdb.retention=30d --log.level=info --web.external-url=http://192.168.1.108:9090
Restart=on-failure

[Install]
WantedBy=multi-user.target

保存后，使用systemctl 启动/关闭 Prometheus服务

systemctl daemon-reload
systemctl enable prometheus
systemctl start prometheus

启动后， Prometheus的web界面如下图所示

1.安装process-exporter

下载process-exporter

wget https://github.com/ncabatoff/process-exporter/releases/download/v0.7.10/process-exporter-0.7.10.linux-amd64.tar.gz

安装部署process-exporter

tar -xvf process-exporter-0.7.10.linux-amd64.tar.gz
mv process-exporter-0.7.10.linux-amd64 process-exporter

编写配置文件

cd process-exporter
vi config.yaml
process_names:
  - name: ".Matches"
    cmdline:
    - 'qtalk_api'
  - name: ".Matches"
    cmdline:
    - 'qtalk_user'
  - name: ".Matches"
    cmdline:
    - 'qtalk_auth'

编写启动脚本

vi /usr/lib/system/system/process-exporter.service
[Unit]
Description=process_exporter
After=network.target

[Service]
User=root
Type=simple
ExecStart=/home/prometheus/process-exporter/process-exporter -config.path /home/prometheus/process-exporter/config.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

启动

systemctl daemon-reload
systemctl enable process-exporter
systemctl start process-exporter

验证

curl 192.168.1.108:9256/metrics

注意：metrics中包含：namedprocess_namegroup_num_procsgroupname=“map[:qtalk_api]”即代表启动正确，否则查询config.yaml配置是否正确。

配置Prometheus
在原prometheus.yml的末端添加下面配置

- job_name: 'process'
static_configs:
-targets: ['192.168.1.108:9256']

热加载Prometheus

./promtool check config  prometheus.yml
systemctl reload prometheus.service

2.安装Grafana

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.3.1-1.x86_64.rpm
sudo yum install grafana-enterprise-9.3.1-1.x86_64.rpm
systemctl start grafana-server.service

启动Grafana之后，使用grafana的Web界面登录之后，添加Prometheus的数据源，然后导入Grafana的进程监控模版（https://grafana.com/grafana/dashboards/8378-system-processes-metrics/），即可查看process-exporter 配置的系统进程的运行情况，如下图所示：

通过Prometheus、Process-exporter、Grafana的相互配合，这样服务器上面运行的每一个进程的状态都可以进行图形化展示，再配合上Prometheus的报警通知功能，便于系统运维及开发人员及时了解系统运行状况，及时做出资源调整，保障系统的高可用。

下一篇文章将介绍如何使用报警组件进行报警规则匹配及邮件、钉钉、企业微信的通知。

参考文档

prometheus
process-exporter
Prometheus — Process-exporter进程监控