clickhouse 20.x 与prometheus + grafana+ckman的集成

Posted 2022-07-20 flyfish225

标签（空测试用例格分隔）：clickhouse 系列

---

一：clickhouse 监控集成

1.1：clickhouse 与grafana 的集成

为grafana加载 支持的clickhouse 的监控 可以查看官网：

https://grafana.com/grafana/plugins/vertamedia-clickhouse-datasource/?tab=installation

插件安装：
     grafana-cli plugins install vertamedia-clickhouse-datasource
从新启动：grafana
    service grafana-server restart 

1.2：配置grafana 的dashboard

1.2 clickhouse 集成prometheus

vim /etc/clickhouse-server/config.xml 
------
# 将下面内容的注释打开
<prometheus>
   <endpoint>/metrics</endpoint>
   <port>9363</port>

   <metrics>true</metrics>
   <events>true</events>
   <asynchronous_metrics>true</asynchronous_metrics>
   <status_info>true</status_info>
 </prometheus>

# 如果有多个节点，需要在每个节点都进行配置
-------
之后从新启动clickhouse
systemctl stop clickhouse-server.service  停机所有集群
systemctl start clickhouse-server.service   所有节点全部启动
systemctl status clickhouse-server.service   所有节点查看clickhouse 节点状态

1.3 配置prometheus

cd /usr/local/prometheus
vim prometheus.yml
-----
- job_name: clickhouse-monitor
    static_configs:
    - targets: [192.168.100.141:9363]
      labels:
        app: ck01
        nodename: node01
        role: node
    - targets: [192.168.100.142:9363]
      labels:
        app: ck02
        nodename: node02
        role: node
    - targets: [192.168.100.143:9363]
      labels:
        app: ck03
        nodename: node03
        role: node
    - targets: [192.168.100.144:9363]
      labels:
        app: ck04
        nodename: node04
        role: node
    - targets: [192.168.100.145:9363]
      labels:
        app: ck05
        nodename: node05
        role: node
    - targets: [192.168.100.146:9363]
      labels:
        app: ck06
        nodename: node06
        role: node
----

从新启动prometheus:

service prometheus restart 

1.4 grafana 源的配置

导入绘图：12163

二： clickhouse 的管理工具ckman 的部署

2.1 ckman 的介绍

ClickHouse作为OLAP场景特别优秀的数据库解决方案，写入速度快，查询性能强，尤其是聚合查询能力特别出色，已在腾讯、哔哩哔哩、快手等公司得到有效实践。与此同时，ClickHouse在集群部署时配置复杂，流程繁琐也困扰着广大使用者。在此背景之下，ckman应运而生。

ckman（ClickHouse Manager）是由擎创信息科技公司自主研发的一款管理ClickHouse的工具，前端用vue框架，后端使用go语言编写。它主要用来管理ClickHouse集群、节点以及数据监控等，致力于服务ClickHouse分布式的操作以及管理。同时提供简单的数据查询窗口。

通过网页端的可视化界面，ckman可以非常便捷的完成集群的导入、部署、节点的增删以及性能指标的监控等功能，可以大大简化集群部署的操作流程，从而起到事半功倍的效果。

ckman的github:
    https://github.com/housepower/ckman

2.2 配置zookeeper 打开metric

cd /usr/local/zookeeper/conf/

vim zoo.cfg 
-----
metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
metricsProvider.httpPort=7000
metricsProvider.exportJvmInfo=true
admin.enableServer=true
admin.serverPort=8080
-----
同步所有zookeeper节点然后重启zK 
cd /usr/local/zookeepr/bin/
./zkServer.sh stop 
./zkServer.sh start
./zkServer.sh status 

2.3 安装ckman

安装ckman
rpm -ivh ckman-2.1.3.x86_64.rpm

启动：
service ckman start 

ps -ef |grep ckman 

打开web 页面

http://192.168.100.120:8808 

ckman /Ckman123456!

导入已经存在的集群：