Heartbeat + Haproxy + MySQL双主复制实现读写负载均衡及高可用

Posted 2021-03-31 大数据真好玩

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Heartbeat + Haproxy + MySQL双主复制实现读写负载均衡及高可用相关的知识，希望对你有一定的参考价值。

回复”资源“获取更多惊喜

大数据技术与架构

点击右侧关注，大数据开发领域最强公众号！

大数据真好玩

点击右侧关注，大数据真好玩！

Heartbeat + Haproxy + MySQL双主复制实现读写负载均衡及高可用本篇我们将利用haproxy实现mysql双主复制的读写负载均衡与MySQL的高可用，同时用Heartbeat保证两台负载均衡器的高可用性。

一、中间件简述

Heartbeat简介

通过Heartbeat，可以将资源（ip以及程序服务等资源）从一台已经故障的计算机快速转移到另一台正常运转的机器上继续提供服务，一般称之为高可用服务。官方网址：http://www.linux-ha.org/wiki/Heartbeat

通过修改Heartbeat的配置文件，可以指定一台Heartbeat服务器作为主服务器，另一台自动成为热备服务器。在热备服务器上面配置Heartbeat守护程序来监听来自主服务器的心跳信息。如果在规定时间内，无法监听到心跳信息，那么就启动故障转移，取得主服务器上的相关资源的所有权，接替主服务器继续不间断的提供服务，从而达到资源以及服务高可用的目的。一般故障切换时间在5~20s之间。Heartbeat还支持主主模式，及两台服务器互为主备。

另外，和Keepalived的服务一样，Heartbeat高可用是服务器级别的，不是服务级别的。它可以监测以下系统问题：

服务器宕机
Heartbeat软件故障
心跳连接线故障

haproxy简介

haproxy是一个开源的高性能的反向代理或者说是负载均衡服务软件之一，它支持双机热备、虚拟主机、基于TCP和HTTP应用代理等功能。其配置简单，而且拥有很好的对服务器节点的健康检查功能（相当于keepalived健康检查），当其代理的后端服务器出现故障时，haproxy会自动的将该故障服务器摘除，当服务器的故障恢复后haproxy还会自动重新添加回服务器主机。

haproxy实现了一种事件驱动、单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space)实现所有这些任务，所以没有这些问题。此模型的弊端是，在多核系统上，这些程序通常扩展性较差。这就是为什么必须对其进行优化以使每个CPU时间片(Cycle)做更多的工作。

haproxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。haproxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进当前架构中，同时可以保护web服务器不被暴露到网络上。

haproxy软件引入了frontend，backend的功能，frontend（acl规则匹配）可以根据任意HTTP请求头做规则匹配，然后把请求定向到相关的backend（server pools等待前端把请求转过来的服务器组）。通过frontend和backend，我们可以很容易的实现haproxy的7层代理功能。

二、安装配置

基本环境

OS：CentOS Linux release 7.2.1511 (Core)
        172.16.1.126：Heartbeat + haproxy + MySQL Replication Master 
        172.16.1.127：Heartbeat + haproxy + MySQL Replication Master
        172.16.1.100：VIP

整体架构图如图所示:

Heartbeat + Haproxy + MySQL双主复制实现读写负载均衡及高可用

2. 配置MySQL双主复制

所谓MySQL双主复制，就是两个MySQL服务器都能读能写，数据记录通过二进制传达给对方从而保持数据的一致性。就本例简而言之，172.16.1.126到172.16.1.127的主从复制 + 172.16.1.127到172.16.1.126的主从复制 = 172.16.1.126、172.16.1.127的双主复制。

与主从复制相比，双主复制需要注意以下三个参数的设置：

log_slave_updates：要设置为true，将复制事件写入本机binlog。一台服务器既做主库又做从库时此选项必须要开启。auto_increment_offset和auto_increment_increment：为避免自增列冲突，需要设置这两个参数，例如在双主复制中，可以配置如下：

# masterA自增长ID
auto_increment_offset = 1
auto_increment_increment = 2   #奇数ID
# masterB自增加ID
auto_increment_offset = 2
auto_increment_increment = 2   #偶数ID

3. 安装配置haproxy

以下步骤用root用户在172.16.1.126、172.16.1.127两个主机上执行。

（2）创建HAProxy运行账户和组

groupadd haproxy #添加haproxy组
useradd -g haproxy haproxy -s /bin/false #创建账户haproxy并加入到haproxy组

（3）解压

tar zxvf haproxy-1.8.12.tar.gz
cd haproxy-1.8.12

（4）查看操作系统版本信息

[root@hdp3~/haproxy-1.8.12]#uname -r
3.10.0-327.el7.x86_64
[root@hdp3~/haproxy-1.8.12]#

（5）编译与安装

make TARGET=linux3100 CPU=x86_64 PREFIX=/usr/local/haprpxy
make install PREFIX=/usr/local/haproxy

参数说明：

TARGET：使用uname -r查看内核，如：2.6.18-371.el5，此时该参数就为linux26。kernel 等于2.6.28的用：TARGET=linux2628，等等。
CPU：使用uname -r查看系统信息，如x86_64 GNU/Linux，此时该参数就为x86_64。
PREFIX：指定haprpxy安装路径。

（6）设置HAProxy

mkdir -p /usr/local/haproxy/conf #创建配置文件目录
mkdir -p /etc/haproxy #创建配置文件目录
touch /usr/local/haproxy/conf/haproxy.cfg #创建配置文件
ln -s /usr/local/haproxy/conf/haproxy.cfg /etc/haproxy/haproxy.cfg #添加配置文件软连接
cp -r /root/haproxy-1.8.12/examples/errorfiles /usr/local/haproxy/errorfiles #拷贝错误页面
ln -s /usr/local/haproxy/errorfiles /etc/haproxy/errorfiles #添加软连接
mkdir -p /usr/local/haproxy/log #创建日志文件目录
touch /usr/local/haproxy/log/haproxy.log #创建日志文件
ln -s /usr/local/haproxy/log/haproxy.log /var/log/haproxy.log #添加软连接
cp /root/haproxy-1.8.12/examples/haproxy.init /etc/rc.d/init.d/haproxy #拷贝开机启动文件
chmod +x /etc/rc.d/init.d/haproxy #添加脚本执行权限
chkconfig haproxy on #设置开机启动
ln -s /usr/local/haproxy/sbin/haproxy /usr/sbin #添加软连接

（7）配置haproxy.cfg参数

编辑/usr/local/haproxy/conf/haproxy.cfg，内容如下：

global
    log         127.0.0.1 local2           # 日志定义级别（err | warning | info | debug）
    chroot      /usr/local/haproxy         # 当前工作目录
    pidfile     /var/run/haproxy.pid       # 进程id
    maxconn     4000                       # 最大连接数
    user        haproxy                    # 运行改程序的用户
    group       haproxy
    daemon                                 # 后台形式运行
    stats socket /usr/local/haproxy/stats

defaults
    mode                    tcp            # haproxy运行模式（http | tcp | health）
    log                     global         # 采用全局定义的日志
    option                  dontlognull    # 不记录健康检查的日志信息
    option                  redispatch     # serverId对应的服务器挂掉后,强制定向到其他健康的服务器
    retries                 3              # 三次连接失败则服务器不用
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s            # 连接超时
    timeout client          1m             # 客户端超时
    timeout server          1m             # 服务器超时
    timeout http-keep-alive 10s
    timeout check           10s            # 心跳检测
    maxconn                 600            # 最大连接数

listen stats                               # 配置haproxy状态页（用来查看的页面）
    mode http
    bind :8888
    stats enable
    stats hide-version                     # 隐藏haproxy版本号
    stats uri     /haproxyadmin?stats      # 一会用于打开状态页的uri
    stats realm   Haproxy Statistics      # 输入账户密码时的提示文字
    stats auth    admin:admin              # 用户名:密码

frontend  main 
    bind 0.0.0.0:6603
    # 使用6603端口。监听前端端口（表示任何ip访问6603端口都会将数据轮番转发到mysql服务器群组中）
    default_backend             mysql      # 后端服务器组名

backend mysql
    balance     roundrobin                 # 使用轮询方式调度
    server mysql1 172.16.1.126:3306 check port 3306 maxconn 300
    server mysql2 172.16.1.127:3306 check port 3306 maxconn 300

（8）启动日志

编辑/etc/rsyslog.conf文件，去掉以下两行的注释，并在其后添加一行：

# Provides TCP syslog reception
$ModLoad imtcp                   # 去掉注释
$InputTCPServerRun 514           # 去掉注释
local2.*   /var/log/haproxy.log  # 添加此行

（9）启动haproxy

systemctl start haproxy
systemctl status haproxy -l
systemctl stop haproxy
systemctl restart haproxy

此时打开浏览器输入172.16.1.126:8888/haproxyadmin?stats，用admin/admin登陆后如图2所示，表明安装haproxy成功。

Heartbeat + Haproxy + MySQL双主复制实现读写负载均衡及高可用

4. 安装配置Heartbeat

Heartbeat的源码编译安装需要依次安装Cluster Glue、Resource Agents和Heartbeat 三个软件，并且三个软件要安装在相同目录下。详细安装配置步骤参考：https://blog.csdn.net/wzy0623/article/details/81188814#二、安装Heartbeat。

这里需要注意的是haresources的设置。在上一篇中，我们建立了一个名为mysql的脚本，它调用remove_slave.sh。当Heartbeat主机获得资源时，将自动把MySQL主从复制中的slave置为master。这次我们用/usr/local/heartbeat/etc/ha.d/haresources来启动haproxy，文件内容只有如下一行：

hdp3 172.16.1.100 haproxy

而/usr/local/heartbeat/etc/ha.d/resource.d/haproxy文件中也只有如下一行：

 /etc/init.d/haproxy restart

资源只有VIP，我们用这种配置保证haproxy的高可用性。当初始启动Heartbeat后，VIP绑定在172.16.1.126上。

5. 创建MySQL服务检测脚本

[root@hdp3~]#more /home/mysql/mysql_check.sh 
#!/bin/bash

. /home/mysql/.bashrc

count=1

while true
do

mysql -uroot -p123456 -S /data/mysql.sock -e "show status;" > /dev/null 2>&1
i=$?
ps aux | grep mysqld | grep -v grep > /dev/null 2>&1
j=$?
if [ $i = 0 ] && [ $j = 0 ]
then
   sleep 3
else
   if [ $i = 1 ] && [ $j = 0 ]
   then
       sleep 3
   else
        if [ $count -gt 5 ]
        then
              break
        fi
   let count++
   continue
   fi
fi

done

/etc/init.d/heartbeat stop

三、功能测试

1. 验证haproxy的负载均衡轮询策略

用客户端连接VIP，并多次执行MySQL查询，可以看到查询请求依次被发送到在两个主机上执行。

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:WINDOWSsystem32>

2. 验证MySQL的高可用性

在172.16.1.126上杀掉MySQL：

pkill -9 mysqld

用客户端连接VIP，并多次执行MySQL查询，可以看到查询请求都被发送到172.16.1.127。一台MySQL宕机不影响应用的正常使用，保证了MySQL服务的高可用性。

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:WINDOWSsystem32>

3. 验证宕机重新上线后自动添加到haproxy中

在172.16.1.126再次启动MySQL，并重启haproxy服务：

service mysql start
systemctl restart haproxy

用客户端连接VIP，并多次执行MySQL查询，可以看到查询请求依次被发送到在两个主机上执行。

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:WINDOWSsystem32>

4. 验证haproxy的高可用性

初始VIP在126，126的haproxy启动，127的haproxy停止。客户端访问：

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:WINDOWSsystem32>

停止172.16.1.126上的MySQL服务：

pkill -9 mysqld

mysql_check会检测到本机MySQL服务宕机，触发停止heartbeat服务。VIP漂移到172.16.1.127，同时172.16.1.127上的haproxy被拉起：

[root@hdp4~]#ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
    link/ether 00:50:56:a5:49:7f brd ff:ff:ff:ff:ff:ff
    inet 172.16.1.127/24 brd 172.16.1.255 scope global ens160
       valid_lft forever preferred_lft forever
    inet 172.16.1.100/24 brd 172.16.1.255 scope global secondary ens160:0
       valid_lft forever preferred_lft forever
    inet6 fe80::250:56ff:fea5:497f/64 scope link 
       valid_lft forever preferred_lft forever
[root@hdp4~]#
[root@hdp4~]#
[root@hdp4~]#/etc/init.d/haproxy status
● haproxy.service - SYSV: HA-Proxy is a TCP/HTTP reverse proxy which is particularly suited for high availability environments.
   Loaded: loaded (/etc/rc.d/init.d/haproxy)
   Active: active (running) since Thu 2018-07-26 11:25:47 CST; 26s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 532199 ExecStop=/etc/rc.d/init.d/haproxy stop (code=exited, status=0/SUCCESS)
  Process: 532205 ExecStart=/etc/rc.d/init.d/haproxy start (code=exited, status=0/SUCCESS)
 Main PID: 532210 (haproxy)
   CGroup: /system.slice/haproxy.service
           └─532210 /usr/sbin/haproxy -D -f /etc/haproxy/haproxy.cfg -p /var/run/haproxy.pid

Jul 26 11:25:47 hdp4 systemd[1]: Starting SYSV: HA-Proxy is a TCP/HTTP reverse proxy which is particularly suite...ts....
Jul 26 11:25:47 hdp4 haproxy[532205]: Starting haproxy: [  OK  ]
Jul 26 11:25:47 hdp4 systemd[1]: Started SYSV: HA-Proxy is a TCP/HTTP reverse proxy which is particularly suited...ents..
Hint: Some lines were ellipsized, use -l to show in full.
[root@hdp4~]#

客户端访问不受影响：

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:WINDOWSsystem32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:WINDOWSsystem32>

在172.16.1.126上再次启动heartbeat，VIP并不发生漂移，仍然停留在172.16.1.127上。

[root@hdp3~]#systemctl start heartbeat
[root@hdp3~]#
[root@hdp3~]#
[root@hdp3~]#ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:50:56:a5:0f:77 brd ff:ff:ff:ff:ff:ff
    inet 172.16.1.126/24 brd 172.16.1.255 scope global ens32
       valid_lft forever preferred_lft forever
    inet6 fe80::250:56ff:fea5:f77/64 scope link 
       valid_lft forever preferred_lft forever
[root@hdp3~]#

四、总结

之所以要使用MySQL双主复制而不是主从复制，是因为本方案中并没有涉及读写分离，而是在两个等价的MySQL服务器之间做读写负载均衡。
Heartbeat利用实现了haproxy的HA，避免了haproxy的单点故障，出现故障时可以自动切换到正常的节点。
haproxy服务器提供了负载均衡的作用，将用户请求分发到多个backend。同时，一台MySQL故障并不会影响整个集群，因为haproxy会检测backend的状态，并据此自动添加或删除集群中的MySQL服务。
如本例的配置，需要考虑单台MySQL服务器的负载最好不要超过50%，否则一旦某台MySQL服务器故障，可能出现另一台正常MySQL不堪重负的情况。
只采用本例的配置无法处理“脑裂”问题。例如，当心跳线闪断，slave获得VIP，而此时master除了与slave失去联系，本身并无任何问题，也绑定同一VIP。当心跳恢复正常时，就会出现VIP的冲突等问题。脑裂是一个比较复杂的话题，通常需要引入其它插件，并且“多管齐下”才能彻底解决。