LVS + Keepalived 搭建高可用的负载均衡群集

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了LVS + Keepalived 搭建高可用的负载均衡群集相关的知识，希望对你有一定的参考价值。

Keepalived 的设计目标是搭建高可用的 LVS 负载均衡群集，可以调用 ipvsadm 工具来创建虚拟服务器、管理服务器池，而不仅仅用作双机热备。使用 Keepalived 搭建 LVS 群集更加简便易用，主要优势体现在：对 LVS 负载调度器实现热备切换，提高可用性；对服务器池中的节点进行健康检查，自动移除失效节点，恢复后再重新加入。

本次我们以 DR 模式的 LVS 群集为基础，增加一台从负载调度器，使用 Keepalived 来实现主、从调度器的热备，从而构建兼有负载均衡、高可用两种能力的 LVS 网站群集平台。

网络拓扑图

后续上传

系统环境

    DR1主调度服务器：192.160.100.200
    DR2备调度服务器：192.168.100.201
    web1节点服务器：192.168.100.202
    web2节点服务器：192.168.100.203
    虚拟 VIP 服务器：192.168.100.100
    nfs服务器：192.168.100.233
    Win10客户端：192.168.100.10

部署服务

nfs服务器（192.168.100.233）

  1. 检查是否安装nfs以及rpcbind软件包

    rpm -q nfs-utils rpcbind

  2. 如果没有安装则用yum仓库进行安装

    yum -y install nfs-utils rpcbind

  3. 开启服务

    systemctl start rpcbind
systemctl start nfs

  4. 创建挂载点，给文件目录设置权限（实际应用中，我们还需创建raid卷并挂载到目录中以便使用）

    mkdir -p /opt/web1 /opt/web2
chmod 777 /opt/web1 /opt/web2

  5. 编辑配置文件
    vim /etc/exports

    /opt/web1 192.168.100.0/24(rw,sync) ##在此网段下的用户可以读写、同步目录中的文件
    /opt/web2 192.168.100.0/24(rw,sync)

  6. 发布共享

    exportfs -rv

  7. 此时我们可以对客户端进行查看

    showmount -e 192.168.100.233
  8. 关闭防火墙及增强型功能 
    setenforce 0
systemctl disable firewalld
systemctl stop firewalld

web1服务器（192.168.100.202）

  1. 安装Apache

    yum -y install httpd

  2. 挂载 nfs 到Apache主页存放

    mount.nfs 192.168.100.206:/opt/web1 /var/www/html

  3. 创建默认首页文件

    echo "<h1>This is web1 page.</h1>" > /var/www/html/index.html

  4. 创建虚拟网卡

    cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0 ##设置参数如下

    DEVICE=lo:0
    IPADDR=192.168.100.100
    NETMASK=255.255.255.0
    ONBOOT=yes

  5. 设置shell脚本便于启动 
    cd /etc/init.d/
vim web.sh  ##添加参数如下

    #!/bin/bash
    VIP=192.168.100.100
    case "$1" in
    start)
    ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
    /sbin/route add -host $VIP dev lo:0
    echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
    echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
    sysctl -p >/dev/null 2>&1
    echo "RealServer Start OK "
    ;;
    stop)
    ifconfig lo:0 down
    route del $VIP /dev/null 2>&1
    echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
    echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
    echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
    echo "RealServer Stopd"
    ;;
    *)
    echo "Usage: $0 {start|stop}"
    exit 1
    esac
    exit 0

chmod +x web.sh   ##给予执行权限
service web.sh start
ifup lo:0   ##启动网卡
  1. 关闭防火墙，启动 httpd 服务 
    setenforce 0
systemctl disable firewalld
systemctl stop firewalld
systemctl enable httpd
systemctl start httpd

web2节点服务器（192.168.100.203）

  1. 安装Apache

    yum -y install httpd

  2. 挂载 nfs 到Apache主页存放

    mount.nfs 192.168.100.233:/opt/web1 /var/www/html

  3. 创建默认首页文件

    echo "<h1>This is web2 page.</h1>" > /var/www/html/index.html

  4. 创建虚拟网卡

    cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0 ##设置参数如下

    DEVICE=lo:0
    IPADDR=192.168.100.100
    NETMASK=255.255.255.0
    ONBOOT=yes

  5. 设置shell脚本便于启动 
    cd /etc/init.d/
vim web.sh  ##添加参数如下

    #!/bin/bash
    VIP=192.168.100.100
    case "$1" in
    start)
    ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
    /sbin/route add -host $VIP dev lo:0
    echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
    echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
    sysctl -p >/dev/null 2>&1
    echo "RealServer Start OK "
    ;;
    stop)
    ifconfig lo:0 down
    route del $VIP /dev/null 2>&1
    echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
    echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
    echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
    echo "RealServer Stopd"
    ;;
    *)
    echo "Usage: $0 {start|stop}"
    exit 1
    esac
    exit 0

chmod +x web.sh   ##给予执行权限
service web.sh start
ifup lo:0   ##启动网卡
  1. 关闭防火墙，启动 httpd 服务 
    setenforce 0
systemctl disable firewalld
systemctl stop firewalld
systemctl enable httpd
systemctl start httpd

LVS 调度服务器（主从调度器配置基本一样，不同处已作出标记）

  1. 安装 ipvsadm 、keepalived 软件包

    yum -y install ipvsadm keepalived

  2. 调整 proc 响应参数

    vim /etc/sysctl.conf

    net.ipv4.ip_forward=1
    #proc响应关闭重定向功能
    net.ipv4.conf.all.send_redirects = 0
    net.ipv4.conf.default.send_redirects = 0
    net.ipv4.conf.ens33.send_redirects = 0

  3. 配置 VIP 承载接口

    cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0
vim ifcfg-ens33:0    ##参数如下

    DEVICE=ens33:0
    ONBOOT=yes
    IPADDR=192.168.100.100
    NETMASK=255.255.255.0

    ifup ens33:0 ##启用虚拟IP

  4. 编辑脚本管理负载分配策略 
    cd /etc/init.d/
vim dr.sh

    #!/bin/bash
    GW=192.168.100.1
    VIP=192.168.100.100
    RIP1=192.168.100.202
    RIP2=192.168.100.203
    case "$1" in
    start)
    /sbin/ipvsadm --save > /etc/sysconfig/ipvsadm
    systemctl start ipvsadm
    /sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up
    /sbin/route add -host $VIP dev ens33:0
    /sbin/ipvsadm -A -t $VIP:80 -s rr
    /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
    /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
    echo "ipvsadm starting --------------------[ok]"
    ;;
    stop)
    /sbin/ipvsadm -C
    systemctl stop ipvsadm
    ifconfig ens33:0 down
    route del $VIP
    echo "ipvsamd stoped----------------------[ok]"
    ;;
    status)
    if [ ! -e /var/lock/subsys/ipvsadm ];then
    echo "ipvsadm stoped---------------"
    exit 1
    else
    echo "ipvsamd Runing ---------[ok]"
    fi
    ;;
    *)
    echo "Usage: $0 {start|stop|status}"
    exit 1
    esac
    exit 0

chmod +x dr.sh
service dr.sh start
  1. keepalived 部署 
    cd /etc/keepalived/
vim keepalived.conf

    global_defs {
    ...
    smtp_server 127.0.0.1 #指向本地
    router_id LVS_01 #指定名称,备份服务器不同名称
    ...
    }

    vrrp_instance VI_1 {
    state MASTER #备份服务器是BACKUP
    interface ens33 #承接的端口
    virtual_router_id 10 #主从调度器组号相同
    ...
    auth_pass abc123 #验证密码
    priority 100 #优先级，备份要小于主调度器
    ...
    virtual_ipaddress {
    192.168.100.100
    }
    ...
    virtual_server 192.168.100.100 80 {
    delay_loop 6
    lb_algo rr ##轮询算法
    lb_kind DR ##DR模式
    persistence_timeout 50
    protocol TCP

    real_server 192.168.100.202 80 {
    weight 1  ##权重为1
    TCP_CHECK {
        connect_port 80       
        connect_timeout 3
        nb_get_retry 3
        delay_before_retry 3
    }   
}   
real_server 192.168.100.203 80 {
    weight 1
    TCP_CHECK {
        connect_port 80              #添加端口
        connect_timeout 3
        nb_get_retry 3
        delay_before_retry 3
    }   
}

    }

systemctl start keepalived

测试 LVS + Keepalived 高可用负载均衡群集

在通过客户机的浏览器中，能够通过群集的 VIP 地址（192.168.100.100）来正常访问 Web1 & Web2 页面。当主、从调度器有任一失效时，我们仍可以正常访问 Web ，且只要节点服务器存在两台及以上，我们仍可以实现负载均衡。

以上是关于LVS + Keepalived 搭建高可用的负载均衡群集的主要内容，如果未能解决你的问题，请参考以下文章

通过keepalived搭建高可用的LVS负载均衡集群

使用LVS和Keepalived搭建高可用负载均衡服务器集群

LVS+keepalived+nginx搭建高可用负载均衡集群(详细配置步骤讲解)

LVS+Keepalived 搭建高可用群集（DR模式）

搭建高可用web和数据库集群

公司nginx keepalived tomcat cxf 搭建高可用负载均衡实战系列1- keepalived安装配置