LVS简单实现NAT&DR模型

Posted 林纳克斯

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了LVS简单实现NAT&DR模型相关的知识,希望对你有一定的参考价值。

LVS:Linux Virtual Server 

  一个由章文嵩博士发起的自由软件项目,它的官方站点是www.linuxvirtualserver.org。

  现在LVS已经是Linux标准内核的一部分,在Linux2.4内核以前,使用LVS时必须要重新编译内核以支持LVS功能模块,但是从Linux2.4内核以后,已经完全内置了LVS的各个功能模块,无需给内核打任何补丁,可以直接使用LVS提供的各种功能。

  LVS是LB集群的一种软件实现方案,类似的有haproxy,nginx,ats(apache traffice server),perbal等。

           硬件实现方法:F5公司的BIG-IP(中高端60W+一台),Citrix的Netscaler,A10公司的A10等。

LVS的组成:ipvs/ipvsadm

  ipvs:工作于内核空间netfilter中的INPUT链上的程序,可根据用户定义的集群实现请求转发

  ipvsadm:用户空间的命令行工具,用于管理集群服务及集群服务上的real server

    ipvsadm命令的用法:由于此命令的选项很多,可归纳为两类,

      ①管理集群服务:

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
/*
   -A:添加
   -E:修改
   -t:TCP
   -u:UDP
   -f:firewall mark 
   service-address:
        -t,tcp,vip:port
        -u,udp,vip:port
        -f,fwm,mark 
   -s scheduler:调度方法,默认是wlc  
*/
ipvsadm -D -t|u|f service-address
//  -D:删除

      ②管理集群上的RS:

ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
/*            
    -a:增加
    -e:修改
    -r server-address:RS的地址,rip[:port]
    -g:gateway,dr(默认)
    -i:ipip,tun
    -m:masquerade,nat
*/    

      ③查看

ipvsadm -L|l [options]
/*           
    -n,--numeric:数字格式显示IP和PORT
    --exact:精确值
    -c,--connection:显示IPVS连接
    --stats:统计数据
    --rate:速率
*/

      ④保存和重载

//保存:
ipvsadm -S > /PATH/TO/SOME_RULE_FILE
ipvsadm-save > /PATH/TO/SOME_RULE_FILE
//重载:
ipvsadm -R < /PATH/TO/SOME_RULE_FILE
ipvsadm-restore < /PATH/TO/SOME_RULE_FILE

     ⑤清空

//清空规则
ipvsadm -C
//清空计数器
ipvsadm -Z [-t|u|f service-address]

LVS-NAT模型实现

  Director:双网卡

    外网地址:192.168.1.102(VIP)

    内网地址:172.18.100.6(DIP)

  RS1:装载httpd做测试

    内网地址:172.18.100.11

  RS2:装载httpd做测试

    内网地址:172.18.100.12

部署:

  (1)关闭防火墙,Selinux;RS1,RS2安装httpd,并写好测试页面,开启服务,确保服务可用。

  (2)Director关闭防火墙,Selinux;清空iptables规则,开启内核ipv4_forward功能

echo 1 >> /proc/sys/net/ipv4/ip_forward

  (3)安装ipvsadm命令行工具

yum -y install ipvsadm

  (4)设定集群规则

ipvsadm -A -t 192.168.1.102:80 -s rr
ipvsadm -a -t 192.168.1.102:80 -r 172.18.100.11 -m -w 1
ipvsadm -a -t 192.168.1.102:80 -r 172.18.100.12 -m -w 1

  (5)查看指定的规则

ipvsadm -Ln

  (6)启动另外一个主机开始测试,效果如下:

总结:

  LVS-NAT设计要点:

    (1)VIP和RIP必须在同一IP网络,RIP的网关要指向DIP

    (2)支持端口映射

  LVS-NAT的缺点:

    在LVS/NAT的集群系统中,请求和响应的数据报文都需要通过负载调度器(Director),当真实服务器(RealServer)的数目在10台和20台之间时,负载调度器(Director)将成为整个集群系统的新瓶颈。


LVS-DR模型实现

    Director:

    eno16777736:192.168.1.102(DIP)设置DIP目的:如果是用了keepalived等工具做HA或者Load Balance,则在健康检查时需要用到DIP。

    eno16777736:0:192.168.1.100(VIP)    

  RS1:192.168.1.103

  RS2:192.168.1.104

部署:

  (1)关闭防火墙,Selinux;RS1,RS2安装httpd,并写好测试页面,开启服务,确保服务可用。

  (2)Director上设置VIP:

ifconfig eno16777736:0 192.168.1.100 netmask 255.255.255.255
route add -host 192.168.1.100 dev eno16777736:0

/*
lvs/dr里,director的vip的netmask 没必要一定设置为255.255.255.255,也不需要再去
route add -host $VIP dev eth0:0
director的vip本来就是要像正常的ip地址一样对外通告的,不要搞得这么特殊.
*/

  (3)Director上设置规则:

ipvsadm -A -t 192.168.1.100:80 -s wrr
ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.103 -g -w 1
ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.104 -g -w 2

  (4)RS1和RS2的设置:主要是调整内核参数和物理接口lo的地址绑定,通过脚本实现:

#!/bin/bash
#
VIP=$2
case "$1" in
start)
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore            
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
    route add -host $VIP dev lo:0
    ;; 
stop)
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore            
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    route del  $VIP
    ;; 
*)
    echo "Tips:$0{start|stop}"
    ;;
esac

  (5)用另外一个主机去访问VIP,可以看到效果了

 总结:

  核心要点

  (1)调度器与实际服务器都有一块网卡连在同一物理网段上。

  (2)RIP和DIP一般在同一网络(因为转发是在数据链路层实现的,必须保证MAC不会变),且RIP的网关不能指向DIP;但两者未必和VIP在同一网络。

  (3)各RS需先设置内核参数,再设置物理接口lo的VIP和路由。

  (4)不支持端口映射

  (5)Director的ip_forward不需要开启转发,因为Director和RS在同一网络。

  (6)Director的VIP一般设置在网卡的别名上,如eth0:0或eno16777736:0上

  

以上是关于LVS简单实现NAT&DR模型的主要内容,如果未能解决你的问题,请参考以下文章

lvs-nat模型的实现 和 lvs-dr模型的实现

LVS的工作模式介绍和NAT模式&DR模式实验步骤

linux集群之LVS DR模型简单实现

LVS下的NAT模型与DR模型实战

第三十三天 LVS基础原理调度算法NAT和DR的实现 LXC虚拟化

LVS-NAT/DR模型