LVS DR模式搭建keepalived+LVS

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了LVS DR模式搭建keepalived+LVS相关的知识,希望对你有一定的参考价值。

LVS DR 模式搭建

准备工作

三台机器,三台机器均有公网IP。

  • 调度器(director)

    IP:192.168.159.131

  • real server 1 (real1)

    IP:192.168.159.132

  • real server 2 (real2)

    IP:192.168.159.133

  • VIP:192.168.159.100

配置调度器(director)

创建一个脚本:
[[email protected] ~]# vim /usr/local/sbin/lvs_dr.sh
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
#开启端口转发
ipv=/usr/sbin/ipvsadm
vip=192.168.159.100
rs1=192.168.159.132
rs2=192.168.159.133
#注意这里的网卡名字
ifdown ens33
ifup ens33
#在此重启网卡的目的是避免重复设置命令行提供的IP
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
#绑定VIP到dir的虚拟网卡ens33:2
route add -host $vip dev ens33:2
#添加网关
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
#设置ipvsadm规则,-g=gateway:使用默认网关(DR模式)

执行脚本:
[[email protected] ~]# sh /usr/local/sbin/lvs_dr.sh 
成功断开设备 ‘ens33‘。
成功激活的连接(D-Bus 激活路径:/org/freedesktop/NetworkManager/ActiveConnection/2)

查看地址:
[[email protected] ~]# ip add
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:43:65:0b brd ff:ff:ff:ff:ff:ff
inet 192.168.159.131/24 brd 192.168.159.255 scope global ens33
   valid_lft forever preferred_lft forever
inet 192.168.159.100/32 brd 192.168.159.100 scope global ens33:2
   valid_lft forever preferred_lft forever
inet6 fe80::cfb6:b956:82de:6f77/64 scope link 
   valid_lft forever preferred_lft forever
// vip 绑定到了ens33 网卡上

配置两台real server

分别在real1、real2上配置脚本:

#!/bin/bash
vip=192.168.8.100
#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
  • 脚本定义/lo/arp_ignore和/all/arp_ignore的理解:
    *0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求

    • 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
    • 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
    • 3 - 不回应该网络界面的arp请求,而只对设置的唯一和连接地址做出回应
    • 4-7 - 保留未使用
    • 8 -不回应所有(本地地址)的arp查询
  • 脚本定义/lo/arp_announce和/all/arp_announce的理解

    • arp_announce:对网络接口上,本地IP地址的发出的,ARP回应,作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口
    • 0 - (默认) 在任意网络接口(eth0,eth1,lo)上的任何本地地址
    • 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
    • 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.

    执行脚本:
    [[email protected] ~]# sh /usr/local/sbin/lvs_rs.sh
    // 执行成功后无返回值

    查看路由表:
    [[email protected] ~]# route -n
    Kernel IP routing table
    Destination Gateway Genmask Flags Metric Ref Use Iface
    0.0.0.0 192.168.159.2 0.0.0.0 UG 100 0 0 ens33
    192.168.159.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33
    192.168.159.100 0.0.0.0 255.255.255.255 UH 0 0 0 lo
    // 可以看见vip的路由

    查看ip:
    [[email protected] ~]# ip add
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    valid_lft forever preferred_lft forever
    inet 192.168.159.100/32 brd 192.168.159.100 scope global lo:0
    valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
    valid_lft forever preferred_lft forever

    // vip 绑定到了lo上。

测试

  • 在浏览器访问vip:192.168.159.100 ,刷新网页,访问结果在real1、real2交替。
  • 或者新开一台虚拟机(同一网段),使用curl访问。不能使用之前的三台虚拟机访问。

keepalived LVS

完整的架构需要两台服务器(角色为dir),分别安装Keepalived工具,目的是实现高可用,但Keepalived本身也有负载均衡功能,所以本次使用可以只安装一台Keepalived。Keepalived内置了ipvsadm的功能,所以不需要安装ipvsadm包,也不用编写和执行lvs_dr脚本。

准备工作

准备三台机器:

  • 调度器(director)

    IP:192.168.159.133;安装keepalived

  • real server (real1)

    IP:192.168.159.131;

  • real server (real2)

    IP:192.168.159.132

  • VIP:192.168.159.100

配置调度器(director)

安装keepalived:
[[email protected] ~]# yum install -y keepalived

自定义keepalived配置文件
[[email protected] ~]# vim /etc/keepalived/keepalived.conf 
vrrp_instance VI_1 {
    // 备用服务器上为 BACKUP
    state MASTER
    // 绑定vip的网卡为ens33,你的网卡和阿铭的可能不一样,这里需要你改一下
    interface ens33
    virtual_router_id 51
    // 备用服务器上为90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456
    }
    virtual_ipaddress {
        192.168.8.100
    }
}
virtual_server 192.168.8.100 80 {
    // (每隔10秒查询realserver状态)
    delay_loop 10
    // (lvs 算法) 
    lb_algo wlc 
    // 算法(DR模式)
    lb_kind DR
    // (同一IP的连接60秒内被分配到同一台realserver)
    persistence_timeout 0 
    // (用TCP协议检查realserver状态)
    protocol TCP 
    real_server 192.168.8.134 80 {
        // (权重) 
        weight 100
        TCP_CHECK {
        // (10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }   
    real_server 192.168.8.135 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }  
}    

启动keepalived 服务:
[[email protected] ~]# systemctl start keepalived

查看网卡信息:
[[email protected] ~]# ip add
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:bb:0b:5a brd ff:ff:ff:ff:ff:ff
    inet 192.168.159.133/24 brd 192.168.159.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.159.100/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:febb:b5a/64 scope link 
       valid_lft forever preferred_lft forever

// vip 在ens33网卡上

查看ipvsadm规则:
[[email protected] ~]# ipvsadm -ln
[[email protected] ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.159.100:80 wlc
  -> 192.168.159.131:80           Route   100    0          0         
  -> 192.168.159.132:80           Route   100    0          0 

 // 如果规则和rs数量不一致,那可能是没有规则的那台机器没有启动nginx
 // 在生产环境下,查看ipvsadm规则时,如果有机器没有规则,则说明那台机器可能宕机了

配置real server

配置路由转发脚本:
[[email protected] ~]# vim /usr/local/sbin/lvs_rs.sh
#/bin/bash
vip=192.168.159.100
#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

执行脚本:
[[email protected] ~]# sh /usr/local/sbin/lvs_rs.sh

测试

  • 在浏览器访问VIP:192.168.8.100,刷新网页,访问结果由real1、real2交替回复。

  • 或者使用同网段的主机访问vip,访问结果由real1、real2交替回复。

    [[email protected] ~]# curl 192.168.159.100
    This is real server 2
    [[email protected] ~]# curl 192.168.159.100
    this is real server 1
    [[email protected] ~]# curl 192.168.159.100
    This is real server 2
    [[email protected] ~]# curl 192.168.159.100
    this is real server 1

以上是关于LVS DR模式搭建keepalived+LVS的主要内容,如果未能解决你的问题,请参考以下文章

LVS DR模式搭建,keepalived + lvs

LVS DR模式搭建keepalived + LVS

LVS DR模式搭建keepalived+LVS搭建介绍

LVS DR模式搭建 keepalived + LVS

LVS DR模式搭建,keepalived + LVS

LVS DR模式搭建keepalived+lvs