kubernetes1.23.1部署prometheus-operator

Posted 2022-03-31 南北二斗

一、prometheus简介

​我们知道zabbix在监控界占有不可撼动的地位，功能强大。但是对容器监控显得力不从心。为解决监控容器的问题，引入了prometheus技术。​

​Prometheus（普罗米修斯）是一个最初在SoundCloud上构建的监控系统。自2012年成为社区开源项目，拥有非常活跃的开发人员和用户社区。为强调开源及独立维护，Prometheus于2016年加入云原生云计算基金会（CNCF），成为继Kubernetes之后的第二个托管项目。​

• 官方网站：https://prometheus.io
• 项目托管：https://github.com/prometheus

二、prometheus特点

​作为新一代的监控框架，Prometheus 具有以下特点：​

1、多维数据模型：由度量名称和键值对标识的时间序列数据

2、PromSQL：一种灵活的查询语言，可以利用多维数据完成复杂的查询

3、不依赖分布式存储，单个服务器节点可直接工作

4、基于HTTP的pull方式采集时间序列数据

5、推送时间序列数据通过PushGateway组件支持

6、通过服务发现或静态配置发现目标

7、多种图形模式及仪表盘支持（grafana）

8、适用于以机器为中心的监控以及高度动态面向服务架构的监控

三、prometheus组织架构

​Prometheus 由多个组件组成，但是其中许多组件是可选的：​

1、Prometheus Server：用于收集指标和存储时间序列数据，并提供查询接口。

2、client Library：客户端库（例如Go，Python，Java等），为需要监控的服务产生相应的/metrics并暴露给Prometheus Server。目前已经有很多的软件原生就支持Prometheus，提供/metrics，可以直接使用。对于像操作系统已经不提供/metrics，可以使用exporter，或者自己开发exporter来提供/metrics服务。

3、push gateway：主要用于临时性的 jobs。由于这类 jobs 存在时间较短，可能在 Prometheus 来 pull 之前就消失了。对此Jobs定时将指标push到pushgateway，再由Prometheus Server从Pushgateway上pull。

​这种方式主要用于服务层面的 metrics：​

1、exporter：用于暴露已有的第三方服务的 metrics 给 Prometheus。

2、alertmanager：从 Prometheus server 端接收到 alerts 后，会进行去除重复数据，分组，并路由到对收的接受方式，发出报警。常见的接收方式有：电子邮件，pagerduty，OpsGenie, webhook 等。

3、Web UI：Prometheus内置一个简单的Web控制台，可以查询指标，查看配置信息或者Service Discovery等，实际工作中，查看指标或者创建仪表盘通常使用Grafana，Prometheus作为Grafana的数据源；

​​注：​​大多数 Prometheus 组件都是用 Go 编写的，因此很容易构建和部署为静态的二进制文件。

四、prometheus-operator组织架构

1、Operator是最核心的部分，作为一个控制器，他会去创建Prometheus、PodMonitor、ServiceMonitor、AlertManager以及PrometheusRule这5个CRD资源对象，然后会一直监控并维持这5个资源对象的状态。

2、其中创建的Prometheus这种资源对象就是作为Prometheus Server存在，而PodMonitor和ServiceMonitor就是exporter的各种抽象，是用来提供专门提供metrics数据接口的工具，Prometheus就是通过PodMonitor和ServiceMonitor提供的metrics数据接口去pull数据的，当然alertmanager这种资源对象就是对应的AlertManager的抽象，而PrometheusRule是用来被Prometheus实例使用的报警规则文件。

3、这样我们要在集群中监控什么数据，就变成了直接去操作 Kubernetes 集群的资源对象了，是不是方便很多了。上图中的 Service 和 ServiceMonitor 都是 Kubernetes 的资源，一个 ServiceMonitor 可以通过 labelSelector 的方式去匹配一类 Service，Prometheus 也可以通过 labelSelector 去匹配多个ServiceMonitor。

五、部署prometheus-operator

1、克隆​Prometheus Operator​

git clone https://github.com/coreos/kube-prometheus

2、替换镜像路径

sed -i s#k8s.gcr.io/kube-state-metrics/kube-state-metrics:v2.4.2#bitnami/kube-state-metrics:latest#g  /root/kube-prometheus/manifests/kube-prometheuskubeStateMetrics-deployment.yaml
sed -i s#k8s.gcr.io/prometheus-adapter/prometheus-adapter:v0.9.1#v5cn/prometheus-adapter:v0.9.1#g  /root/kube-prometheus/manifests/prometheusAdapter-deployment.yaml

3、修改service端口

# cat  /root/kube-prometheus/manifests/grafana-service.yaml
#增加nodeport类型以及端口

apiVersion: v1
kind: Service
metadata:
  labels:
    app.kubernetes.io/component: grafana
    app.kubernetes.io/name: grafana
    app.kubernetes.io/part-of: kube-prometheus
    app.kubernetes.io/version: 8.4.4
  name: grafana
  namespace: monitoring
spec:
  type: NodePort           #增加nodeport类型
  ports:
  - name: http
    port: 3000
    targetPort: http
    nodePort: 30100        #增加nodeport端口
  selector:
    app.kubernetes.io/component: grafana
    app.kubernetes.io/name: grafana
    app.kubernetes.io/part-of: kube-prometheus

# cat  /root/kube-prometheus/manifests/prometheus-service.yaml
#增加nodeport类型以及端口

apiVersion: v1
kind: Service
metadata:
  labels:
    app.kubernetes.io/component: prometheus
    app.kubernetes.io/instance: k8s
    app.kubernetes.io/name: prometheus
    app.kubernetes.io/part-of: kube-prometheus
    app.kubernetes.io/version: 2.34.0
  name: prometheus-k8s
  namespace: monitoring
spec:
  type: NodePort             #增加nodeport类型
  ports:
  - name: web
    port: 9090
    targetPort: web
    nodePort: 30200          #增加nodeport端口
  - name: reloader-web
    port: 8080
    targetPort: reloader-web
  selector:
    app.kubernetes.io/component: prometheus
    app.kubernetes.io/instance: k8s
    app.kubernetes.io/name: prometheus
    app.kubernetes.io/part-of: kube-prometheus
  sessionAffinity: ClientIP

4、部署prometheus-operator

cd /root/kube-prometheus
kubectl create -f manifests/setup/
kubectl apply -f manifests/

5、检查部署情况

可以看到pod中除了三个node-exporter没ready以外其余均已正常，原因是三个node节点没有开机，node-exporter正常会调度到node节点。

grafana和prometheus的service类型已变为NodePort。

至此，kubernetes1.23.1版本部署prometheus-operator完成。

六、访问UI页面

1、访问grafana

地址：192.168.0.52:30100  账号密码：admin/admin

2、访问prometheus

地址：192.168.0.52:30200