20210810-基于CentOS7/Linux Grafana 集成 Prometheus并实现对ClickHouse监控

Posted 2021-09-06 蝴蝶杰

目录

一、目标：

二、环境说明：

三、安装步骤：

1. 配置ClickHouse集群对接Prometheus。

2. 安装Prometheus，Prometheus 功能是负责收集各类系统的运行指标。

3. 安装Grafana，Grafana 功能是负责指标数据可视化。

4. Grafana 集成 Prometheus。

---

一、目标：

      1. Grafana 集成 Prometheus并实现对ClickHouse监控。

---

二、环境说明：

1. 一台CentOS7系统的虚拟机，主机名为 hadoop3。
2. 已经安装好的clickhouse集群，ClickHouse版本 21.6.6.51(说明：20.1.2.4以上版本的clickhouse已经集成了Prometheus)。
3. ClickHouse集群安装方式可以参考文章基于CentOS7/Linux搭建ClickHouse集群
4. Grafana版本：8.1.0 下载链接
5. Prometheus版本：2.29.0 下载链接
6. 安装过程使用普通用户权限，本文使用的用户是 sspu 。

---

三、安装步骤：

1. 配置ClickHouse集群对接Prometheus。

1.1. 将ClickHouse配置文件中 prometheus 标签的注释打开 (注意: ClickHouse 集群的各个节点的配置文件都要打开这个标签)。

1.2. 测试ClickHouse 集群 prometheus 是否打开。
1.2.1. ClickHouse 集群服务重启，如果修改配置文件前已经启动 ClickHouse 集群，这里需要重启服务。
1.2.2. 浏览器打开: http://hadoop3:9363/metrics ，看见如下内容说明服务正常。

2. 安装Prometheus，Prometheus 功能是负责收集各类系统的运行指标。

2.1.官网下载Prometheus安装包 prometheus-2.29.0-rc.2.linux-amd64.tar.gz
       
2.2.上传 prometheus-2.29.0-rc.2.linux-amd64.tar.gz文件到hadoop3机器的 /opt/module目录，解压并重命名        

[sspu@hadoop3 ~]$ cd /opt/module
[sspu@hadoop3 module]$ tar -zxvf prometheus-2.29.0-rc.2.linux-amd64.tar.gz
[sspu@hadoop3 module]$ mv prometheus-2.29.0-rc.2.linux-amd64 ./prometheus-2.29.0

2.3. 编辑Prometheus配置文件prometheus.yml 文件。
2.3.1. 添加 job_name等配置，这里要注意yml文件格式，缩进和空格等。

[sspu@hadoop3 module]$ cd prometheus-2.29.0/
[sspu@hadoop3 prometheus-2.29.0]$ vim prometheus.yml 

2.3.2. 完整的prometheus.yml 文件。

# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ["localhost:9090"]
  #配置监控clickhouse
  - job_name: 'clickhouse'
    static_configs:
      - targets: ['hadoop3:9363']

 2.4.启动 Prometheus Server

[sspu@hadoop3 prometheus-2.29.0]$ nohup ./prometheus --config.file=prometheus.yml > ./prometheus.log 2>&1 &

2.5.访问 Prometheus 服务
2.5.1.浏览器输入 http://hadoop3:9090/ ，点击 Status 下拉框中的 Targets 选项。

 2.5.2.点击 Targets 选项后的界面如下图，
      
2.5.3.目前 Prometheus 已经安装配置完成。

3. 安装Grafana，Grafana 功能是负责指标数据可视化。

3.1 官网 下载 Grafana 安装包 grafana-8.1.0.linux-amd64.tar.gz

3.2. 上传 grafana-8.1.0.linux-amd64.tar.gz 文件到hadoop3机器的 /opt/module目录，解压并重命名。

[sspu@hadoop3 ~]$ cd /opt/module
[sspu@hadoop3 module]$ tar -zxvf grafana-8.1.0.linux-amd64.tar.gz
[sspu@hadoop3 module]$ mv grafana-8.1.0.linux-amd64 ./grafana-8.1.0

3.3. 启动 Grafana 服务。

[sspu@hadoop3 module]$ cd grafana-8.1.0
[sspu@hadoop3 grafana-8.1.0]$ nohup ./bin/grafana-server web > ./grafana.log 2>&1 &

3.4. 打开 web： http://hadoop3:3000,默认用户名和密码都是： admin (注意：使用admin登录会让你修改密码，如果不想修改可以skip掉)
 

 3.5. 登录后的界面大约如下图：

4. Grafana 集成 Prometheus。

4.1. 添加数据源 Prometheus。
4.1.1. 最左侧菜单栏，依次点击设置->Data Sources。

4.1.2. 点击 Add Data Sources 按钮。

4.1.3. 找到 Prometheus，点击右边 Select 按钮 (注意：鼠标悬停的位置，不然看不见 select 按钮)。

4.1.4. 配置 Prometheus Server 地址：http://hadoop3:9090 。

4.1.5. 点击下方(滚动条拉到最下面)的 Save&Test 按钮，出现绿色的提示框，表示与 Prometheus 正常联通。
 

4.1.6. 点击 Back 返回即可，可以看到 Data Sources 页面，出现了添加的 Prometheus:

 4.2. 配置Grafana监控ClickHouse的模板。
 4.2.1. 在网站 https://grafana.com/dashboards 搜索 clickhouse，可以看到大量模板。

 4.2.2. 选择合适的模板。
 4.2.2.1. 选择有 internal exporter metrics 字样的模板，这些模板是使用 clickhouse 内置的 Prometheus。
 4.2.2.2. 同时要选择最近时间维护的模板，有的模板长期没有更新维护了，不要只看 start 数和 Downloades 数。
 4.2.2.3. 我这里使用的模板是 'ClickHouse by weastur ' url:https://grafana.com/grafana/dashboards/14192
 

 4.2.3. 下载模板文件，点击 Downloade JSON 按钮，模板文件是一个 .json 文件。

 4.2.4. 上传模板文件。
 4.2.4.1. Grafana最左侧菜单栏，一次点击 ‘+’ --> import --> Upload JSON File。
 

  4.2.4.2. 选择刚才下载的 JOSN 文件，选择数据源，点击 Import 。

4.2.4.3. 出现如下界面，表示成功导入模板。