Keepalived高可用配置
Posted 小枫呀
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Keepalived高可用配置相关的知识,希望对你有一定的参考价值。
Keepalived高可用
一、高可用介绍
一般是指2台机器启动着完全相同的业务系统,当有一台机器down机了,另外一台服务器就能快速的接管,对于访问的用户是无感知的。
1.硬件通常使用 F5
2.软件通常使用 keepalived
keepalived软件是基于VRRP协议实现的,VRRP虚拟路由冗余协议,主要用于解决单点故障问题
ARP广播
VRRP协议
vip负责IP漂移
vmac负责通知ARP广播修改mac地址
比如公司的网络是通过网关进行上网的,那么如果该路由器故障了,网关无法转发报文了,此时所有人都无法上网了,怎么办?
通常做法是给路由器增加一台备节点,但是问题是,如果我们的主网关master故障了,用户是需要手动指向backup的,如果用户过多修改起来会非常麻烦。
问题一:假设用户将指向都修改为backup路由器,那么master路由器修好了怎么办?
问题二:假设Master网关故障,我们将backup网关配置为master网关的ip是否可以?
其实是不行的,因为PC第一次通过ARP广播寻找到Master网关的MAC地址与IP地址后,会将信息写到ARP的缓存表中,那么PC之后连接都是通过那个缓存表的信息去连接,然后进行数据包的转发,即使我们修改了IP但是Mac地址是唯一的,pc的数据包依然会发送给master。(除非是PC的ARP缓存表过期,再次发起ARP广播的时候才能获取新的backup对应的Mac地址与IP地址)
如何才能做到出现故障自动转移,此时VRRP就出现了,我们的VRRP其实是通过软件或者硬件的形式在Master和Backup外面增加一个虚拟的MAC地址(VMAC)与虚拟IP地址(VIP),那么在这种情况下,PC请求VIP的时候,无论是Master处理还是Backup处理,PC仅会在ARP缓存表中记录VMAC与VIP的信息。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hDtMGumW-1623251975690)(img/image-20201211231438019.png)]
1.如何确定谁是主节点谁是备节点 #(选举投票,优先级)
2.如果Master故障,Backup自动接管,那么Master恢复后会夺权吗 #(抢占试、非抢占式)
3.如果两台服务器都认为自己是Master会出现什么问题 # (脑裂)
二、keepalived搭建
主机 | IP | 身份 |
---|---|---|
lb01 | 10.0.0.4 | keepalived master |
lb02 | 10.0.0.5 | keepalived backup |
web01 | 172.16.1.7 | web端 |
web02 | 172.16.1.8 | web端 |
db01 | 172.16.1.51 | 数据库 |
10.0.0.3 | VIP |
[root@lb01 conf.d]# scp linux.wp.com.conf 172.16.1.5:/etc/nginx/conf.d/
[root@lb01 conf.d]# scp -r /etc/nginx/ssl_key 172.16.1.5:/etc/nginx/
[root@lb01 ~]# yum install -y keepalived
[root@lb02 ~]# yum install -y keepalived
[root@lb01 ~]# rpm -qc keepalived
/etc/keepalived/keepalived.conf
- 配置主节点的配置文件
[root@lb01 ~]# vim /etc/keepalived/keepalived.conf
global_defs
router_id lb01
vrrp_instance VI_1
state MASTER
interface eth0
virtual_router_id 50
priority 100
advert_int 1
authentication
auth_type PASS
auth_pass 1111
virtual_ipaddress
10.0.0.3
[root@lb01 ~]# vim /etc/keepalived/keepalived.conf
#全局配置
global_defs
#身份识别
router_id lb01
#配置VRRP协议
vrrp_instance VI_1
#状态,MASTER和BACKUP
state MASTER
#绑定网卡
interface eth0
#虚拟路由标识,可以理解为分组
virtual_router_id 50
#优先级
priority 100
#监测心跳间隔时间
advert_int 1
#配置认证
authentication
#认证类型
auth_type PASS
#认证的密码
auth_pass 1111
#设置VIP
virtual_ipaddress
#虚拟的VIP地址
10.0.0.3
- 配置备节点
[root@lb02 ~]# vim /etc/keepalived/keepalived.conf
global_defs
router_id lb02
vrrp_instance VI_1
state BACKUP
interface eth0
virtual_router_id 50
priority 90
advert_int 1
authentication
auth_type PASS
auth_pass 1111
virtual_ipaddress
10.0.0.3
[root@lb01 ~]# tail -f /var/log/messages
[root@lb01 ~]# systemctl start keepalived.service
[root@lb02 ~]# tail -f /var/log/messages
[root@lb02 ~]# systemctl start keepalived.service
#配置keepalived
[root@lb01 ~]# vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -d -S 0"
#配置rsyslog抓取日志
[root@lb01 ~]# vim /etc/rsyslog.conf
local0.* /var/log/keepalived.log
#重启服务
[root@lb01 ~]# systemctl restart keepalived rsyslog
三、keepalived的抢占式与非抢占式
#两个节点都启动时,由于节点1优先级高于节点2,所以只有节点1上有VIP
[root@lb01 ~]# ip addr | grep 10.0.0.3
inet 10.0.0.3/32 scope global eth0
[root@lb02 ~]# ip addr | grep 10.0.0.3
[root@lb01 ~]# systemctl stop keepalived.service
[root@lb01 ~]# ip addr | grep 10.0.0.3
#由于节点1keepalived挂掉,节点2会自动接管节点1的工作,即VIP
[root@lb02 ~]# ip addr | grep 10.0.0.3
inet 10.0.0.3/32 scope global eth0
#启动主节点
[root@lb01 ~]# systemctl start keepalived
[root@lb01 ~]# ip addr | grep 10.0.0.3
inet 10.0.0.3/32 scope global eth0
#由于节点1优先级高于节点2,所以当节点1恢复时,会将VIP抢占回来
主节点配置
[root@lb01 ~]# vim /etc/keepalived/keepalived.conf
... ...
vrrp_instance VI_1
state BACKUP
#开启非抢占式
nopreempt
priority 100
... ...
[root@lb01 ~]# systemctl restart keepalived
备节点配置
[root@lb02 ~]# vim /etc/keepalived/keepalived.conf
... ...
vrrp_instance VI_1
state BACKUP
nopreempt
priority 90
... ...
[root@lb02 ~]# systemctl restart keepalived.service
配置
1.两个节点的state都必须配置为BACKUP
2.两个节点都必须加上配置 nopreempt
3.其中一个节点的优先级必须要高于另外一个节点的优先级。
两台服务器都角色状态启用nopreempt后,必须修改角色状态统一为BACKUP,唯一的区分就是优先级。
四、keepalived 脑裂
由于某些原因,导致两台keepalived高可用服务器在指定时间内,无法检测到对方的心跳,各自取得资源及服务的所有权,而此时的两台高可用服务器又都还活着。
1.网线松动,网络故障
2.服务器硬件故障
3.服务器之间开启了防火墙
开启防火墙
[root@lb01 ~]# systemctl start firewalld.service
[root@lb01 ~]# ip addr | grep 10.0.0.3
inet 10.0.0.3/32 scope global eth0
[root@lb02 ~]# systemctl start firewalld
[root@lb02 ~]# ip addr | grep 10.0.0.3
inet 10.0.0.3/32 scope global eth0
访问网站
#因为开启了firewalld防火墙,默认拒绝所有连接,要开启80端口
[root@lb01 ~]# firewall-cmd --add-service=http
success
[root@lb02 ~]# firewall-cmd --add-service=http
success
[root@lb01 ~]# firewall-cmd --add-service=https
success
[root@lb02 ~]# firewall-cmd --add-service=https
success
#访问页面没有任何问题
关闭防火墙
[root@lb02 ~]# systemctl stop firewalld.service
[root@lb02 ~]# ip addr | grep 10.0.0.3
[root@lb01 ~]# systemctl stop firewalld.service
[root@lb01 ~]# ip addr | grep 10.0.0.3
inet 10.0.0.3/32 scope global eth0
脑裂解决的办法
#如果发生闹裂,则随机kill掉一台即可
#在备上编写检测脚本, 测试如果能ping通主并且备节点还有VIP的话则认为产生了脑裂
[root@lb02 ~]# cat check_split_brain.sh
#!/bin/sh
vip=10.0.0.3
lb01_ip=10.0.0.4
while true;do
ping -c 2 $lb01_ip &>/dev/null
if [ $? -eq 0 -a `ip add|grep "$vip"|wc -l` -eq 1 ];then
echo "ha is split brain.warning."
else
echo "ha is ok"
fi
sleep 5
done
[root@lb02 ~]# vim check_keepalive.sh
#!/bin/sh
vip=10.0.0.3
lb01_ip=172.16.1.4
while true;do
ssh $lb01_ip 'ip addr | grep 10.0.0.3' &>/dev/null
if [ $? -eq 0 -a `ip add|grep "$vip"|wc -l` -eq 1 ];then
echo "ha is split brain.warning."
else
echo "ha is ok"
fi
sleep 3
done
五、高可用keepalived与nginx
Nginx默认监听在所有的IP地址上,VIP会飘到一台节点上,相当于那台nginx多了VIP这么一个网卡,所以可以访问到nginx所在机器
但是.....如果nginx宕机,会导致用户请求失败,但是keepalived没有挂掉不会进行切换,所以需要编写一个脚本检测Nginx的存活状态,如果不存活则kill掉keepalived
[root@lb01 ~]# vim check_web.sh
#!/bin/sh
nginxpid=$(ps -ef | grep [n]ginx | wc -l)
#1.判断Nginx是否存活,如果不存活则尝试启动Nginx
if [ $nginxpid -eq 0 ];then
systemctl start nginx &>/dev/null
sleep 3
#2.等待3秒后再次获取一次Nginx状态
nginxpid=$(ps -ef | grep [n]ginx | wc -l)
#3.再次进行判断, 如Nginx还不存活则停止Keepalived,让地址进行漂移,并退出脚本
if [ $nginxpid -eq 0 ];then
systemctl stop keepalived
fi
fi
#给脚本增加执行权限
[root@lb01 ~]# chmod +x /root/check_web.sh
#只需要在备节点配置
[root@lb02 ~]# vim /etc/keepalived/keepalived.conf
global_defs
router_id lb02
#每5秒执行一次脚本,脚本执行内容不能超过5秒,否则会中断再次重新执行脚本
vrrp_script check_web
script "/root/check_web.sh"
interval 5
vrrp_instance VI_1
state BACKUP
nopreempt
interface eth0
virtual_router_id 50
priority 90
advert_int 1
authentication
auth_type PASS
auth_pass 1111
virtual_ipaddress
10.0.0.3
#调用计划的脚本
track_script
check_web
- 配置非抢占式时
#配置非抢占式时,两边都要配置脚本
[root@lb02 ~]# scp check_web.sh 172.16.1.4:/root
#主节点也要配置
[root@lb01 ~]# cat /etc/keepalived/keepalived.conf
global_defs
router_id lb01
vrrp_script check_web
script "/root/check_web.sh"
interval 5
vrrp_instance VI_1
state BACKUP
nopreempt
interface eth0
virtual_router_id 50
priority 100
advert_int 1
authentication
auth_type PASS
auth_pass 1111
virtual_ipaddress
10.0.0.3
track_script
check_web
以上是关于Keepalived高可用配置的主要内容,如果未能解决你的问题,请参考以下文章