启用k8s metrics server监控

Posted 2021-10-26 edenlong

1、创建aggregator证书

方法一：直接使用二进制源码包安装

$ wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
$ chmod +x cfssl_linux-amd64
$ mv cfssl_linux-amd64 /usr/local/bin/cfssl

$ wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
$ chmod +x cfssljson_linux-amd64
$ mv cfssljson_linux-amd64 /usr/local/bin/cfssljson

$ wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
$ chmod +x cfssl-certinfo_linux-amd64
$ mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

$ export PATH=/usr/local/bin:$PATH

方式二：使用go命令安装

$ go get -u github.com/cloudflare/cfssl/cmd/...
$ls $GOPATH/bin/cfssl*
cfssl cfssl-bundle cfssl-certinfo cfssljson cfssl-newkey cfssl-scan

2、创建 CA (Certificate Authority)

创建 CA 配置文件

$ mkdir /root/ssl
$ cd /root/ssl
$ cfssl print-defaults config > config.json
$ cfssl print-defaults csr > csr.json
# 根据config.json文件的格式创建如下的ca-config.json文件
# 过期时间设置成了 87600h
$ cat > aggregator-ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "aggregator": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "87600h"
      }
    }
  }
}
EOF

字段说明：

• profiles : 可以定义多个 profiles，分别指定不同的过期时间、使用场景等参数；后续在签名证书时使用某个 profile。
• signing ：表示该证书可用于签名其它证书；生成的 aggregator-ca.pem 证书中 CA=TRUE。
• server auth ：表示 Client 可以用该 CA 对 Server 提供的证书进行验证。
• client auth ：表示 Server 可以用该 CA 对 Client 提供的证书进行验证。

创建 CA 证书签名请求

创建 aggregator-ca-csr.json 文件，内容如下：

{
  "CN": "aggregator",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Shanghai",
      "L": "Shanghai",
      "O": "k8s",
      "OU": "System"
    }
  ],
    "ca": {
       "expiry": "87600h"
    }
}

字段说明：

• “CN” ：Common Name，kube-apiserver 从证书中提取该字段作为请求的用户名 (User Name)；浏览器使用该字段验证网站是否合法。
• “O” ：Organization，kube-apiserver 从证书中提取该字段作为请求用户所属的组 (Group)；

生成 CA 证书和私钥

$ cfssl gencert -initca aggregator-ca-csr.json | cfssljson -bare aggregator-ca
$ ls aggregator-ca*
aggregator-ca-config.json  aggregator-ca.csr  aggregator-ca-csr.json  aggregator-ca-key.pem 

3、创建 kubernetes 证书

创建 aggregator 证书签名请求文件 aggregator-csr.json ：

{
    "CN": "aggregator",
    "hosts": [
      "127.0.0.1",
      "192.168.123.250",
      "192.168.123.248",
      "192.168.123.249",
      "10.254.0.1",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "Shanghai",
            "L": "Shanghai",
            "O": "k8s",
            "OU": "System"
        }
    ]
}

• 如果 hosts 字段不为空则需要指定授权使用该证书的 IP 或域名列表，由于该证书后续被 etcd 集群和 kubernetes master 集群使用，所以上面分别指定了 etcd 集群、kubernetes master 集群的主机 IP 和 kubernetes 服务的服务 IP（一般是 kube-apiserver 指定的 service-cluster-ip-range 网段的第一个 IP，如 10.254.0.1）。
• 以上物理节点的 IP 也可以更换为主机名。

生成 aggregator 证书和私钥

$ cfssl gencert -ca=aggregator-ca.pem -ca-key=aggregator-ca-key.pem -config=aggregator-ca-config.json -profile=aggregator aggregator-csr.json | cfssljson -bare aggregator
$ ls aggregator*
aggregator.csr  aggregator-csr.json  aggregator-key.pem  aggregator.pem

4、分发证书

将生成的证书和秘钥文件（后缀名为.pem）拷贝到 Master 节点的 /etc/kubernetes/ssl 目录下备用。

cp *.pem /etc/kubernetes/ssl

5、开启聚合层 API

kube-apiserver 增加以下配置：

--requestheader-client-ca-file=/etc/kubernetes/ssl/aggregator-ca.pem
--requestheader-allowed-names=aggregator
--requestheader-extra-headers-prefix=X-Remote-Extra-
--requestheader-group-headers=X-Remote-Group
--requestheader-username-headers=X-Remote-User
--proxy-client-cert-file=/etc/kubernetes/ssl/aggregator.pem
--proxy-client-key-file=/etc/kubernetes/ssl/aggregator-key.pem

　注意：前面创建的证书的 CN 字段的值必须和参数 --requestheader-allowed-names 指定的值 aggregator 相同。

重启 kube-apiserver：

$ systemctl daemon-reload
$ systemctl restart kube-apiserver

　　如果 kube-proxy 没有在 Master 上面运行，kube-proxy 还需要添加配置：

--enable-aggregator-routing=true

6、部署metrics server

git clone https://github.com/kubernetes-incubator/metrics-server
$ cd metrics-server
$ cat deploy/1.8+/metrics-server-deployment.yaml
---
apiVersion: v1
kind: ServiceAccount
metadata:
name: metrics-server
namespace: kube-system
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: metrics-server
namespace: kube-system
labels:
k8s-app: metrics-server
spec:
selector:
matchLabels:
k8s-app: metrics-server
template:
metadata:
name: metrics-server
labels:
k8s-app: metrics-server
spec:
serviceAccountName: metrics-server
volumes:
# mount in tmp so we can safely use from-scratch images and/or read-only containers
- name: tmp-dir
emptyDir: {}
containers:
- name: metrics-server
image: k8s.gcr.io/metrics-server-amd64:v0.3.2
command:
- /metrics-server
- --kubelet-preferred-address-types=InternalIP
- --kubelet-insecure-tls
imagePullPolicy: IfNotPresent
volumeMounts:
- name: tmp-dir
mountPath: /tmp

$ kubectl create -f deploy/1.8+/

　　注意：这里我修改了metrics-server的启动命令，增加了--kubelet-preferred-address-types=InternalIP和--kubelet-insecure-tls参数，否则metrics server可能会从kubelet拿不到监控数据。具体报错可以通过kubectl log metrics-server-5687578d67-tx8m4 -n kube-system命令查看

7、验证metrics server

[[email protected] 1.8+]# kubectl get --raw /apis/metrics.k8s.io/v1beta1/nodes
[[email protected] 1.8+]# kubectl top node
NAME CPU(cores) CPU% MEMORY(bytes) MEMORY%
k8s-10-21-17-41 136m 13% 2131Mi 93%
k8s-10-21-17-42 167m 2% 8904Mi 28%
k8s-10-21-17-43 978m 13% 17733Mi 57%
k8s-10-21-17-56 707m 17% 16621Mi 51%
k8s-10-21-17-57 320m 8% 12478Mi 38%
k8s-10-21-17-58 442m 11% 13087Mi 40%
k8s-10-21-17-59 242m 8% 13838Mi 45%

[[email protected] 1.8+]# kubectl top pod
NAME CPU(cores) MEMORY(bytes)
eager-alpaca-zookeeper-0 6m 780Mi
eager-alpaca-zookeeper-1 5m 755Mi
eager-alpaca-zookeeper-2 7m 793Mi
filled-scorpion-minio-96595c48-bfwrd 1m 10Mi
filled-scorpion-redis-master-0 5m 28Mi
filled-scorpion-spinnake-halyard-0 1m 1365Mi
idolized-wallaby-nfs-client-provisioner-5dbcfc8c9-8kpwk 2m 11Mi
jaundiced-possum-gitlab-runner-64dcdccc4c-k5927 4m 7Mi
nginx-deployment-586f5f95f7-dvmw7 0m 1Mi
nginx-deployment-586f5f95f7-hpw5n 0m 2Mi
prometheus-operator-6c8d8456cd-ccfwx 2m 24Mi
prometheus-sample-metrics-prom-0 1m 30Mi
sample-metrics-app-5f67fcbc57-9ghxt 1m 9Mi
sample-metrics-app-5f67fcbc57-t9pzn 1m 9Mi