部署k8s ssl集群实践6:配置高可用kube-apiserver组件ha+keepalived

Posted 2021-01-01

参考文档:
https://github.com/opsnull/follow-me-install-kubernetes-cluster
感谢作者的无私分享。
集群环境已搭建成功跑起来。
文章是部署过程中遇到的错误和详细操作步骤记录。如有需要对比参考，请按照顺序阅读和测试。

kubernetes master 节点运行如下组件：
kube-apiserver
kube-scheduler
kube-controller-manager
kube-scheduler 和 kube-controller-manager 可以以集群模式运行，通过 leader 选举产
生一个工作进程，其它进程处于阻塞模式。
对于 kube-apiserver，可以运行多个实例（本文档是 3 实例），但对其它组件需要提供统一的访问地址，该地址需要高可用。本文档使用 keepalived 和 haproxy 实现 kubeapiserver
VIP 高可用和负载均衡。

集群模式和ha+keepalived的主要区别是什么呢？
ha+keepalived配置vip，实现了api唯一的访问地址和负载均衡。
集群模式没有配置vip。

6.1
配置高可用组件

keepalived 提供 kube-apiserver 对外服务的 VIP；
haproxy 监听 VIP，后端连接所有 kube-apiserver 实例，提供健康检查和负载均衡
功能；
运行 keepalived 和 haproxy 的节点称为 LB 节点。由于 keepalived 是一主多备运行模
式，故至少两个 LB 节点。
本文档复用 master 节点的三台机器，haproxy 监听的端口(8443) 需要与 kube-apiserver
的端口 6443 不同，避免冲突。
keepalived 在运行过程中周期检查本机的 haproxy 进程状态，如果检测到 haproxy 进程
异常，则触发重新选主的过程，VIP 将飘移到新选出来的主节点，从而实现 VIP 的高可
用。
所有组件（如 kubeclt、apiserver、controller-manager、scheduler 等）都通过 VIP 和
haproxy 监听的 8443 端口访问 kube-apiserver 服务。

安装软件包（三节点都安装)
yum -y install keepalived haproxy

配置haproxy.cfg

[[email protected] haproxy]# cat haproxy.cfg |grep -v ^#
global
? ? log? ? ? ?? 127.0.0.1 local2
? ? chroot? ? ? /var/lib/haproxy
? ? pidfile? ?? /var/run/haproxy.pid
? ? maxconn? ?? 4000
? ? user? ? ? ? haproxy
? ? group? ? ?? haproxy
? ? daemon
? ? stats socket /var/lib/haproxy/stats
defaults
? ? mode? ? ? ? ? ? ? ? ?? tcp
? ? log? ? ? ? ? ? ? ? ? ?? global
? ? timeout connect? ? ? ?? 10s
? ? timeout client? ? ? ? ? 1m
? ? timeout server? ? ? ? ? 1m
? ? timeout check? ? ? ? ?? 10s
? ? maxconn? ? ? ? ? ? ? ?? 3000
frontend? ? ? ?? kube-api
bind? ? ? ? ? ? ? ? ? 0.0.0.0:8443
mode? ? ? ? ? ? ? ? tcp
log? ? ? ? ? ? ? ? ? ? ? ?? global
default_backend? ? ? ?? kube-master

backend? ? ? ?? kube-master
? ? balance? ?? source
? ? server? k8s-master 192.168.1.92:6443 check inter 2000 fall 2
? ? server? k8s-node1? 192.168.1.93:6443 check inter 2000 fall 2
? ? server? k8s-node2? 192.168.1.95:6443 check inter 2000 fall 2
listen stats
mode http
bind 0.0.0.0:1080
stats enable
stats hide-version
stats uri /haproxyadmin?stats
stats realm Haproxy Statistics
stats auth admin:admin
stats admin if TRUE
[[email protected] haproxy]#

拷贝到其他节点

[[email protected] haproxy]# scp haproxy.cfg [email protected]:/etc/haproxy/
haproxy.cfg? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 100% 1300? ?? 1.7MB/s?? 00:00? ?
[[email protected] haproxy]# scp haproxy.cfg [email protected]:/etc/haproxy/
haproxy.cfg? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 100% 1300? ?? 1.7MB/s?? 00:00? ?
[[email protected] haproxy]#

haproxy 在 1080 端口输出 status 信息；
haproxy 监听所有接口的 8443 端口，该端口与环境变量 ${KUBE_APISERVER} 指
定的端口必须一致；
server 字段列出所有 kube-apiserver 监听的 IP 和端口；

启动haproxy

[[email protected] haproxy]# systemctl status haproxy -l
● haproxy.service - HAProxy Load Balancer
?? Loaded: loaded (/usr/lib/systemd/system/haproxy.service; disabled; vendor preset: disabled)
?? Active: active (running) since 二 2018-08-21 17:15:40 CST; 2min 19s ago
Main PID: 7709 (haproxy-systemd)
? ? Tasks: 3
?? Memory: 1.7M
?? CGroup: /system.slice/haproxy.service
? ? ? ? ?? ├─7709 /usr/sbin/haproxy-systemd-wrapper -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid
? ? ? ? ?? ├─7710 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
? ? ? ? ?? └─7711 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds

8月 21 17:15:40 k8s-master systemd[1]: Started HAProxy Load Balancer.
8月 21 17:15:40 k8s-master systemd[1]: Starting HAProxy Load Balancer...
8月 21 17:15:40 k8s-master haproxy-systemd-wrapper[7709]: haproxy-systemd-wrapper: executing /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
[[email protected] haproxy]#

看看端口启动了吗

[[email protected] haproxy]# netstat -tnlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address? ? ? ? ?? Foreign Address? ? ? ?? State? ? ?? PID/Program name? ?
tcp? ? ? ? 0? ? ? 0 192.168.1.92:2379? ? ?? 0.0.0.0:*? ? ? ? ? ? ?? LISTEN? ? ? 2229/etcd? ? ? ? ??
tcp? ? ? ? 0? ? ? 0 127.0.0.1:2379? ? ? ? ? 0.0.0.0:*? ? ? ? ? ? ?? LISTEN? ? ? 2229/etcd? ? ? ? ??
tcp? ? ? ? 0? ? ? 0 192.168.1.92:2380? ? ?? 0.0.0.0:*? ? ? ? ? ? ?? LISTEN? ? ? 2229/etcd? ? ? ? ??
tcp? ? ? ? 0? ? ? 0 0.0.0.0:111? ? ? ? ? ?? 0.0.0.0:*? ? ? ? ? ? ?? LISTEN? ? ? 749/rpcbind? ? ? ??
tcp? ? ? ? 0? ? ? 0 0.0.0.0:22? ? ? ? ? ? ? 0.0.0.0:*? ? ? ? ? ? ?? LISTEN? ? ? 1034/sshd? ? ? ? ??
tcp? ? ? ? 0? ? ? 0 0.0.0.0:1080? ? ? ? ? ? 0.0.0.0:*? ? ? ? ? ? ?? LISTEN? ? ? 7711/haproxy? ? ? ?
tcp? ? ? ? 0? ? ? 0 127.0.0.1:25? ? ? ? ? ? 0.0.0.0:*? ? ? ? ? ? ?? LISTEN? ? ? 1238/master? ? ? ??
tcp? ? ? ? 0? ? ? 0 0.0.0.0:8443? ? ? ? ? ? 0.0.0.0:*? ? ? ? ? ? ?? LISTEN? ? ? 7711/haproxy? ? ? ?
tcp6? ? ?? 0? ? ? 0 :::111? ? ? ? ? ? ? ? ? :::*? ? ? ? ? ? ? ? ? ? LISTEN? ? ? 749/rpcbind? ? ? ??
tcp6? ? ?? 0? ? ? 0 :::22? ? ? ? ? ? ? ? ?? :::*? ? ? ? ? ? ? ? ? ? LISTEN? ? ? 1034/sshd? ? ? ? ??
tcp6? ? ?? 0? ? ? 0 ::1:25? ? ? ? ? ? ? ? ? :::*? ? ? ? ? ? ? ? ? ? LISTEN? ? ? 1238/master? ? ? ??
[[email protected] haproxy]#

6.2
配置keepalived

keepalived 是一主（master）多备（backup）运行模式，故有两种类型的配置文件。
master 配置文件只有一份，backup 配置文件视节点数目而定，对于本文档而言，规划
如下：

master: 192.168.1.92
backup：192.168.1.93,192.168.1.95

master 配置文件：

[[email protected] keepalived]# cat keepalived.conf
global_defs {?
? ? router_id NodeA?
}?

vrrp_script chk_haproxy {
? ? ? ? script "/etc/keepalived/check_haproxy.sh"
? ? ? ? interval 5
? ? ? ? weight 2
}

vrrp_instance VI_1 {?
? ? state MASTER? ? #设置为主服务器?
? ? interface ens192? #监测网络接口?
? ? virtual_router_id 51? #主、备必须一样?
? ? priority 100?? #(主、备机取不同的优先级，主机值较大，备份机值较小,值越大优先级越高)?
? ? advert_int 1?? #VRRP Multicast广播周期秒数?
? ? authentication {?
? ? auth_type PASS? #VRRP认证方式，主备必须一致?
? ? auth_pass 1111?? #(密码)?
}?
virtual_ipaddress {?
? ? 192.168.1.94/24? #VRRP HA虚拟地址?
}
? ? track_script { ? ? ? ? ? ? ? ? ? ? ? ? ? 
? ? ? chk_haproxy
}
}
[[email protected] keepalived]#

backup配置文件
[[email protected] keepalived]# cat keepalived.conf
global_defs {?
? ? router_id NodeA?
}?

vrrp_script chk_haproxy {
? ? ? ? script "/etc/keepalived/check_haproxy.sh"
? ? ? ? interval 5
? ? ? ? weight 2
}

vrrp_instance VI_1 {?
? ? state BACKUP? ? #设置为主服务器?
? ? interface ens192? #监测网络接口?
? ? virtual_router_id 51? #主、备必须一样?
? ? priority 90?? #(主、备机取不同的优先级，主机值较大，备份机值较小,值越大优先级越高)?
? ? advert_int 1?? #VRRP Multicast广播周期秒数?
? ? authentication {?
? ? auth_type PASS? #VRRP认证方式，主备必须一致?
? ? auth_pass 1111?? #(密码)?
}?
virtual_ipaddress {?
? ? 192.168.1.94/24? #VRRP HA虚拟地址?
}
? ??track_script {
? ? ? ? chk_haproxy
}
}
[[email protected] keepalived]#

[[email protected] keepalived]# cat keepalived.conf
global_defs {?
? ? router_id NodeA?
}?

vrrp_script chk_haproxy {
? ? ? ? script "/etc/keepalived/check_haproxy.sh"
? ? ? ? interval 5
? ? ? ? weight 2
}

vrrp_instance VI_1 {?
? ? state BACKUP? ? #设置为主服务器?
? ? interface ens192? #监测网络接口?
? ? virtual_router_id 51? #主、备必须一样?
? ? priority 80?? #(主、备机取不同的优先级，主机值较大，备份机值较小,值越大优先级越高)?
? ? advert_int 1?? #VRRP Multicast广播周期秒数?
? ? authentication {?
? ? auth_type PASS? #VRRP认证方式，主备必须一致?
? ? auth_pass 1111?? #(密码)?
}?
virtual_ipaddress {?
? ? 192.168.1.94/24? #VRRP HA虚拟地址?
}
? ??track_script {
? ? ? ? chk_haproxy
}
}
[[email protected] keepalived]#

脚本文件

[[email protected] keepalived]# pwd ? ? ? ? ? ? ? ? ? ? ? ? ? ?##注意脚本存放的路径必须和keepalived配置的路径相同
/etc/keepalived
[[email protected] keepalived]# cat check_haproxy.sh
#!/bin/bash
A=`ps -C haproxy --no-header |wc -l`
if [ $A -eq 0 ];then
systemctl start haproxy.service
fi
sleep 3
if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
pkill keepalived
fi
[[email protected] keepalived]#

keepalived测试成功

6.3
遇到的问题:
脚本不执行。
原因:
?##千万注意，track_script这组参数必须写在vip后面，不然脚本不会执行