MySQL HA方案之MySQL半复制+MHA+Keepalived+Atlas+LVS（下）

Posted 2021-05-01 ACMUG

---

作者:赵俊峰

作者简介:小米研发,个人博客:hugnew.com。
个人博客的自我介绍：
       一个码农，一个文字的搬运工，一个骑行爱好者，一个伪摄影师，一个伪吉他手，一个资深养狗师。乔布斯的信徒，恪守乔布斯的名言：“Stay Hungry, Stay Foolish.

---

注：不知道大家记不记得上一篇长文， ，经过了ACMUG的年会之后，我们终于可以发这篇文章的下半部分了。感谢大家的耐心等待和一直的支持。

Atlas配置

简介

Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于mysql协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的MySQL业务，每天承载的读写请求数达几十亿条。

主要功能：

• 读写分离

• 从库负载均衡

• IP过滤

• 自动分表

• DBA可平滑上下线DB

• 自动摘除宕机的DB

安装（192.168.3.124，192.168.3.125）

RPM/DEB包安装

从 页面下载最新版RPM包，我这里下载的是Atlas-2.2.1.el6.x86_64.rpm，然后执行：sudo rpm –i Atlas-2.2.1.el6.x86_64.rpm安装。
如果是Debian/Ubuntu用户，下载DEB包后用dpkg -i安装即可。
注意事项：

• Atlas只能安装运行在64位的系统上。

• Centos 5.X安装 Atlas-XX.el5.x86_64.rpm，Centos 6.X安装Atlas-XX.el6.x86_64.rpm。

• 如果执行sudo rpm –i Atlas-XX.el6.x86_64.rpm，提示类似：“file /usr/local/mysql-proxy/bin/encrypt from install of Atlas-2.0.1-1.x86_64 conflicts with file from package Atlas-1.0.3-1.x86_64”错误，则表示该系统之前已经安装过Atlas-1.0.3-1.x86_64，需要执行：sudo rpm –e Atlas-1.0.3-1.x86_64，将之前安装的Atlas删除掉，再执行sudo rpm –i Atlas-XX.el6.x86_64.rpm安装新版本的Atlas。

• 后端MySQL版本应大于5.1，建议使用MySQL 5.6

源码包安装

对Atlas系统不太熟悉的新用户，推荐使用rpm包的安装Atlas。对于想源码编译安装Atlas的用户，可参考 提供的安装方式进行安装。注意：Atlas为了提升内存管理效率，使用了jemalloc库，源码编译的时候需要额外安装jemalloc库。

配置文件修改

Atlas运行需要依赖一个配置文件（test.cnf）。在运行Atlas之前，需要对该文件进行配置。Atlas的安装目录是/usr/local/mysql-proxy，进入安装目录下的conf目录，可以看到已经有一个名为test.cnf的默认配置文件，我们只需要修改里面的某些配置项，不需要从头写一个配置文件。
配置文件如下：

[mysql-proxy]

#带#号的为非必需的配置项目

#管理接口的用户名
admin-username = atlas

#管理接口的密码
admin-password = hugnew

#Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔(这里是MySQL主机提供的vip)
proxy-backend-addresses = 192.168.3.250:3306

#Atlas后端连接的MySQL从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔
proxy-read-only-backend-addresses = 192.168.3.115:3306,192.168.3.117:3306

#用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密，下行的user1和user2为示例，将其替换为你的MySQL的用户名和加密密码！
pwds = root:or9RzYJBtvga8s/oWZlMvQ==

#设置Atlas的运行方式，设为true时为守护进程方式，设为false时为前台方式，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。
daemon = false

#设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor，一个为worker，monitor在worker意外退出后会自动将其重启，设为false时只有worker，没有monitor，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。
keepalive = false

#工作线程数，对Atlas的性能有很大影响，可根据情况适当设置
event-threads = 4

#日志级别，分为message、warning、critical、error、debug五个级别
log-level = message

#日志存放的路径
log-path = /usr/local/mysql-proxy/log

#SQL日志的开关，可设置为OFF、ON、REALTIME，OFF代表不记录SQL日志，ON代表记录SQL日志，REALTIME代表记录SQL日志且实时写入磁盘，默认为OFF
sql-log = ON

#慢日志输出设置。当设置了该参数时，则日志只输出执行时间超过sql-log-slow（单位：ms)的日志记录。不设置该参数则输出全部日志。
sql-log-slow = 10

#实例名称，用于同一台机器上多个Atlas实例间的区分（instance名与配置文件名test.cnf要一样）
instance = test

#Atlas监听的工作接口IP和端口
proxy-address = 0.0.0.0:1234

#Atlas监听的管理接口IP和端口
admin-address = 0.0.0.0:2345

#分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需要设置该项
#tables = person.mt.id.3

#默认字符集，设置该项后客户端不再需要执行SET NAMES语句
charset = utf8

#允许连接Atlas的客户端的IP，可以是精确IP，也可以是IP段，以逗号分隔，若不设置该项则允许所有IP连接，否则只允许列表中的IP连接
#client-ips = 127.0.0.1, 192.168.1

#Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，若有LVS且设置了client-ips则此项必须设置，否则可以不设置
#lvs-ips = 192.168.1.1

运行Atlas

进入/usr/local/mysql-proxy/bin目录，执行下面的命令启动、重启或停止Atlas。

• sudo ./mysql-proxyd test start，启动Atlas。

• sudo ./mysql-proxyd test restart，重启Atlas。

• sudo ./mysql-proxyd test stop，停止Atlas。

注意：

• 运行文件是：mysql-proxyd(不是mysql-proxy)。

• test是conf目录下配置文件的名字，也是配置文件里instance项的名字，三者需要统一。

• 可以使用ps -ef | grep mysql-proxy查看Atlas是否已经启动或停止。

Atlas测试

1234端口是Atlas客户端的接口，在MySQL主服务器上执行命令：mysql -h127.0.0.1 -P1234 -uroot -p123456，这里的用户名密码是MySQL访问的用户名及密码，测试连接MySQL正常，client端连接Atlas执行几条SQL语句正常说明说明Atlas正常。
2345端口是Atlas的管理接口,此接口提供了查看MySQL状态,设置上线、下线后端MySQL服务器。
访问方法使用MySQL命令
mysql -h 127.0.0.1 -P2345 - uatlas -phugnew
这里的用户名密码是上面配置文件中的admin-username = admin、admin-password = password
下面是管理接口的使用帮助

SELECT * FROM help;  # 查看帮助信息
SELECT * FROM backends; # 查看后端主机状态
SET OFFLINE $backend_id  # 下线一台主机,$backend_id == SELECT * FROM backends查出来的ID
SET ONLINE $backend_id   # 上线一台主机
ADD MASTER $backend      # 添加一台master节点,如: ADD MASTER 10.57.1.131;
ADD SLAVE $backend       # 添加一台slave节点,如 : ADD SLAVE 10.57.1.132;
REMOVE BACKEND $backend_id # 删除一个节点

LVS配置

简介

LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服 务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。
LVS集群中实现的三种IP负载均衡技术是VS/NAT、VS/TUN和VS/DR技术。它们主要解决系统的可伸缩性和透明性问题，如何通过负载调度器将请求高 效地分发到不同的服务器执行，使得由多台独立计算机组成的集群系统成为一台虚拟服务器；客户端应用程序与集群系统交互时，就像与一台高性能的服务器交互一 样。
在内核中的连接调度算法上，IPVS已实现了以下八种调度算法：

• 轮叫调度（Round-Robin Scheduling）

• 加权轮叫调度（Weighted Round-Robin Scheduling）

• 最小连接调度（Least-Connection Scheduling）

• 加权最小连接调度（Weighted Least-Connection Scheduling）

• 基于局部性的最少链接（Locality-Based Least Connections Scheduling）

• 带复制的基于局部性最少链接（Locality-Based Least Connections with Replication Scheduling）

准备工作（每台LVS机器）

首先禁掉防火墙和SeLinux，分为临时禁掉和永久禁掉，命令如下

####临时禁掉防火墙，重启服务器失效
service iptables stop 
####临时禁掉Selinux，重启服务器失效
setenforce 0 
####永久禁掉防火墙，需重启服务器
chkconfig iptables off
####永久禁掉Selinux，需重启服务器

修改/etc/selinux/config文件中设置SELINUX=disabled ，然后重启服务器。

安装LVS软件

LVS软件包括二部分：

IPVS模块，LVS已经是Linux标准内核的一部分,直接被编译在内核中!
IPVS管理工具IPVSadm ，如：IPVSadm-1.26

（1）检查是否安装了IPVS模块

LVS已经是Linux标准内核的一部分,直接被编译在内核中，可以直接使用modprobe命令即可查看。

（2）安装IPVS管理软件及依赖包

yum -y install ipvsadm
yum -y install kernel-devel
yum -y install libnl-devel
yum -y install popt-devel

安装keepalived

tar zxf keepalived-1.2.14.tar.gz
cd keepalived-1.2.2
./configure --prefix=/usr/local/keepalived --sysconf=/etc --with-kernel-dir=/usr/src/kernels/2.6.32-71.el6.x86_64/

直到出现四个：yes

Use IPVS Framework: Yes 
IPVS sync daemon support : Yes 
IPVS use libnl: Yes 
Use VRRP Framework : Yes

然后进行编译

make && make install
ln -s /usr/local/sbin/keepalived /sbin/ //做个软链接

执行命令keepalived –help命令检查安装keepalived是否成功。

编辑配置文件

在主机上配置keepalived（192.168.3.119）

keepalived的原理可以查看文档小谈keepalived vip漂移原理与VRRP协议。

vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   notification_email {
     [e-mail]   #设置报警邮件地址,可以设置多个,每行1个
     [e-mail]  #需开启邮件报警及本机的Sendmail服务。
     [e-mail]
   }
   notification_email_from [e-mail]
   smtp_server 127.0.0.1  #设置SMTP Server地址；
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
########VRRP Instance########
vrrp_instance VI_1 {
    state MASTER    #指定Keepalived的角色，MASTER为主机服务器，BACKUP为备用服务器
    interface eth0  #BACKUP为备用服务器
    virtual_router_id 51
    priority 100    #定义优先级，数字越大，优先级越高，主机器必须大于备机。
    advert_int 1
    authentication {
        auth_type PASS  #设置验证类型，主要有PASS和AH两种
        auth_pass 1111  #设置验证密码
    }
    virtual_ipaddress {
        192.168.3.251  #设置主DR的虚拟IP地址(virtual IP),可多设，但必须每行1个
    }
}
########Virtual Server########
virtual_server 192.168.3.251 1234 {  #注意IP地址与端口号之间用空格隔开
    delay_loop 6        #设置健康检查时间，单位是秒
    lb_algo lc          #设置负载调度算法，默认为rr,即轮询算法,最优秀是wlc算法，这里使用的是最小链接算法
    lb_kind DR          #设置LVS实现LB机制，有NAT、TUNN和DR三个模式可选
    #nat_mask 255.255.255.0
    #persistence_timeout 50  #会话保持时间，单位为秒
    protocol TCP        #指定转发协议类型，有TCP和UDP两种
    real_server 192.168.3.124 1234 {
        weight 1          #配置节点权值，数字越大权值越高
        TCP_CHECK {
            connect_timeout 3     #表示3秒无响应，则超时
            nb_get_retry 3        #表示重试次数
            delay_before_retry 3  #表示重试间隔
        }
    }
    real_server 192.168.3.125 1234 {  #配置服务器节点，即Real Server2的public IP
        weight 3            #配置节点权值，数字越大权值越高
        TCP_CHECK {
            connect_timeout 3       #表示3秒无响应，则超时
            nb_get_retry 3          #表示重试次数
            delay_before_retry 3    #表示重试间隔
        }
    }
}

在备机上配置keepalived（192.168.3.120）

备机配置文件与主机有两处不同，如下
把“state MASTER”修改为“state BACKUP” #即备用服务器；
把“priority 100”修改为“priority 90” #优先级为90。

配置real server节点（Atlas所有服务器）

安装httpd

yum –y install httpd

启动httpd服务

修改httpd.conf配置文件

vi /etc/httpd/conf/httpd.conf
#265 ServerName www.example.com:80 //去掉前面的#号
/etc/init.d/httpd restart

编写ip绑定脚本realserver.sh

#add for chkconfig
#chkconfig: 2345 70 30  #234都是文本界面，5就是图形界面X，70启动顺序号，30系统关闭，脚本
#止顺序号
#description: RealServer's script  #关于脚本的简短描述
#processname: realserver.sh       #第一个进程名，后边设置自动时会用到
#!/bin/bash
VIP=192.168.3.251
source /etc/rc.d/init.d/functions
case "$1" in
start)
       ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
       ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
       /sbin/route add -host $VIP dev lo:0
       echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "RealServer Start OK"
       ;;
stop)
       ifconfig lo:0 down
       route del $VIP >/dev/null 2>&1
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "RealServer Stoped"
       ;;
       *)
       echo "Usage: $0 {start|stop}"
       exit 1
esac
exit 0

为realserver.sh添加权限并执行

chmod 755 realserver.sh
./realserver.sh start

检查ip绑定是否成功

执行ip addr命令

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet 192.168.3.251/32 brd 192.168.3.251 scope global lo:0
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:1a:4a:e0:4c:41 brd ff:ff:ff:ff:ff:ff
inet 192.168.3.124/24 brd 192.168.3.255 scope global eth0
inet6 fe80::21a:4aff:fee0:4c41/64 scope link
valid_lft forever preferred_lft forever

可以看到ip已经绑定成功

LVS启动keepalived并检查是否生效

LVS主机启动keepalived并检查是否生效

启动keepalived

/etc/init.d/keepalived start

检查是否生效，执行ipvsadm -Ln命令

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.3.251:1234 lc
-> 192.168.3.124:1234           Route   5      0          0
-> 192.168.3.125:1234           Route   5      0          0

执行ip addr 命令

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:1a:4a:e0:4c:32 brd ff:ff:ff:ff:ff:ff
inet 192.168.3.119/23 brd 192.168.3.255 scope global eth0
inet6 fe80::21a:4aff:fee0:4c32/64 scope link
valid_lft forever preferred_lft forever

可以看到LVS主机配置已经生效。

LVS备机启动keepalived并检查是否生效

启动keepalived

/etc/init.d/keepalived start

检查是否生效，执行ipvsadm -Ln命令

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.3.251:1234 lc
-> 192.168.3.124:1234           Route   5      0          0
-> 192.168.3.125:1234           Route   5      0          0

可以看到LVS备机配置也已经生效。

LVS测试

结语

ok，MySQL半复制+MHA+Keepalived+Atlas+LVS的集成就说到这里，这里面涉及到知识点可能比较多也比较散，如果有疑问的可以先查看官方文档，也可以找我交流哦。

---