基于zabbix的监控keepalive脑裂

Posted 2021-05-24 fxx013

环境

主机	ip	应用
master（node1）	192.168.94.141	keepalive,nginx
slave（node2)	192.168.94.143	keepalived,nginx
zabbix（node3）	192.168.94.129	zabbix,lamp

zabbix部署详见这篇文章 https://www.cnblogs.com/fangxinxin/p/14630804.html

脑裂

在高可用系统中，联系节点“心跳线”断开时，作为整体的高可用系统，分裂为2个独立个体，他们会相互争夺资源。针对无状态服务则还好，有状态服务（如mysql）的高可用，脑裂会损坏数据，则必须防止。

产生的原因

1. 高可用服务器对之间心跳线链路发生故障，导致无法正常通信。
2. 因心跳线坏了（包括断了，老化）。
3. 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）。
4. 因心跳线间连接的设备故障（网卡及交换机）。
5. 因仲裁的机器出问题（采用仲裁的方案）。
6. 高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。
7. 高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败。
8. 其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等。
9. Keepalived配置里同一 VRRP实例如果virtual_router_id两端参数配置不一致也会导致裂脑问题发生。

常见解决方案

在实际生产环境中，我们可以从以下几个方面来防止裂脑问题的发生：

• 同时使用串行电缆和以太网电缆连接，同时用两条心跳线路，这样一条线路坏了，另一个还是好的，依然能传送心跳消息。

• 当检测到裂脑时强行关闭一个心跳节点（这个功能需特殊设备支持，如Stonith、feyce）。相当于备节点接收不到心跳消患，通过单独的线路发送关机命令关闭主节点的电源。

• 做好对裂脑的监控报警（如邮件及手机短信等或值班）.在问题发生时人为第一时间介入仲裁，降低损失。例如，百度的监控报警短倍就有上行和下行的区别。报警消息发送到管理员手机上，管理员可以通过手机回复对应数字或简单的字符串操作返回给服务器.让服务器根据指令自动处理相应故障，这样解决故障的时间更短.

当然，在实施高可用方案时，要根据业务实际需求确定是否能容忍这样的损失。对于一般的网站常规业务.这个损失是可容忍

实例监控

思路：判断标准为查看从服务器的vip是否存在，是则报警：可能主挂掉了或发生脑裂。

//从服务器上编写脚本
[root@node2 ~]# mkdir  /script
[root@node2 ~]# cd  /script
[root@node2 script]# vim chkvip.sh

#!/bin/bash
ip address show dev ens160 |grep 192.168.94.250/32
if [ $? -eq 0 ];then
        echo \'1\'
else
        echo \'0\'
fi
[root@node2 script]# chmod +x chkvip.sh
[root@node2 ~]#   vim /usr/local/zabbix/etc/zabbix_agentd.conf
...
//自定义监控
UnsafeUserParameters=1
UserParameter=check_slave,/script/chkvip.sh

//zabbix监控机查看能否接受
[root@node3 ~]# /usr/local/zabbix/bin/zabbix_get -s 192.168.94.143 -k check_slave
0