linux集群之DR模型的配置

Posted 2020-08-16

    

LVS集群的介绍

 lvs工作在TCP/IP的第四层，可以实现根据用户请求的IP或端口的不同由Director_Server分发给不同的后端RS_Server；因为工作在第四层，所以最多只解析到4层协议，而对更高层的应用层是什么内容不做任何处理，所以相对于工作在第七层的nginx/Haproxy其负载均衡效果更好；但也因为对高层协议不解析其支持的高级性能很少，如不能根据用户请求的Web资源（URL/URI）来做负载均衡

LVS有三种工作模式：

   (1)NAT 类似Iptables的DNAT

    特点集群的所有节点必须在同一个网段

    Rip一般为私有IP仅用于各节点通信

    报文的出入栈都要经过Director-Server,所以其压力很大。容易成为集群瓶颈

    支持端口映射.client请求80端口，可以转发到后端Rs的8080等端口

    RS上的RIP其网关为DIP

   （2）DR client请求Director的VIP后，报文经由Director转发到后端Server时，其源于目标地址不变，依然为CIP与VIP，而只改变报文的二层MAC地址为director指定分发的RS的MAC地址，报文返回时其源与目标地址为VIP，CIP

    特点

    集群的所有节点必须位于同一个物理网络中（因为Director要靠MAC地址将报文转发RS）最多只能隔个交换机

    RIP可以为公有地址

    只有报文的入栈才经过Director，而相对出栈报文,入栈报文要轻量级的多，所以Director压力相比NAT模式大大降低，所以DR模式支持的集群节点数量也比NAT要多得多

    RS的网关不是DIP，而是指向前段的路由器

    不支持端口映射（因为出栈不仅过Director） 

    （3）TUN 隧道

    其特点是报文入栈时源和目标地址分别为CIP，VIP，进过Director后会在加一个IP报头：源IP为     DIP，目标IP为选定的RS的RIP；报文到达RS 后会将新加的IP报头去掉，报文返回时源IP为VIP，     目标IP为CIP

    支持跨区域，如不同的节点甚至可以位于不同的城市 

    RIP必须为公有IP，因为要通过互联网传输报文

    Director之处理入栈报文

    不支持端口映射         

其中DR模式为最常用的一种,下面将进行DR模式的配置演示：

Director_Server: eth0 192.168.139.3  Dip

           eth0:1 192.168.139.6 Vip

Rs1_Server:    eth0 192.168.139.2  Rip1

           lo:0 192.168.139.6  Vip

Rs2_Server:    eth0 192.168.139.4  Rip2

           lo:0 192.168.139.6  Vip 

      配置好RS1和RS2上的VIP，因为报文返回时其源IP必须为VIP，所以每个节点都要有VIP地址

但RS上的VIP也仅仅用来作为响应报文的源IP。

      因为每个节点都有VIP，但进行ARP响应时必须只能有Director上的VIP响应（要是VIP所在网卡都响应ARP广播就乱了，因为每个节点都有VIP），所以RS上的VIP必须隐藏起来让其不进行ARP响应。为了让RS上的VIP隐藏起来，必须对RS进行如下设置

      echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

      echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

     echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

     echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

     linux有个特点，报文从哪个接口出去其报文的源IP就会改成这个接口上的IP，所以报文返回时如果经RIP所处网卡出去，会将响应报文的源IP改为RIP(因为client请求的是VIP），所一必须加一条路由信息:

     route add -host VIP dev lo:0 (让出栈报文进过VIP所处的接口返回，这样就可以将返回报文                          源IP改为VIP，与请求报文的目标IP一致)

一

（1）首先在RS1上配置

RS1#ifconfig eth0 192.168.139.2 netmask 255.25.255.0 up //设置RIP1

 

（2）#bash rs.sh start  //运行这个脚本配置VIP，及设置路由和参数

  脚本内容如下（可以设置VIP，停止VIP。及查看状态）

#!/bin/bash

#

VIP=192.168.139.6

STATUS() {

          if [ -e /var/lock/subsys/ipvs_lock ] ;then

             echo -e "\033[40;31m initial OK \033[0m "

          else

             echo -e "\033[40;31m initial not ok \033[0m "

          fi

         }

case $1 in

start)

        /sbin/ifconfig lo down

        /sbin/ifconfig lo up

        echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

        echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

        echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

        echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

       /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up

       /sbin/route add -host $VIP dev lo:0

       /bin/touch /var/lock/subsys/ipvs_lock

       ;;

stop)

       /sbin/ifconfig lo:0 down

       /sbin/route del $VIP &> /dev/null

        echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore

        echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore

        echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce

        echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce

        /bin/rm -f /var/lock/subsys/ipvs_lock

        ;;

status)

      STATUS;;

*)

 echo "Usage: `basename $0` START|STOP" 

 exit 7

esac

(3)

[[email protected] sh]# ./rs.sh status //查看脚本是不是运行了

 initial OK  

~                                                                                                                         (4)                      

[[email protected] sh]# ifconfig  //查看RIP1与VIP的设置

eth0      Link encap:Ethernet  HWaddr 00:0C:29:1C:13:12  

          inet addr:192.168.139.2  Bcast:192.168.139.255  Mask:255.255.255.0

          inet6 addr: fe80::20c:29ff:fe1c:1312/64 Scope:Link

          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

          RX packets:3700 errors:0 dropped:0 overruns:0 frame:0

          TX packets:1752 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:393174 (383.9 KiB)  TX bytes:236163 (230.6 KiB)

lo        Link encap:Local Loopback  

          inet addr:127.0.0.1  Mask:255.0.0.0

          inet6 addr: ::1/128 Scope:Host

          UP LOOPBACK RUNNING  MTU:65536  Metric:1

          RX packets:105215 errors:0 dropped:0 overruns:0 frame:0

          TX packets:105215 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:9448156 (9.0 MiB)  TX bytes:9448156 (9.0 MiB)

lo:0      Link encap:Local Loopback  

          inet addr:192.168.139.6  Mask:255.255.255.255

          UP LOOPBACK RUNNING  MTU:65536  Metric:1

(5)

[[email protected] sh]# vim /usr/local/apache24/htdocs/index.html //在Apache的主页面加入www.RS1.com

                                      

         <html><body><h1>www.RS1.com</h1></body></html>

~                                                  

         如果Apache不是编译安装,而是通过#yum install httpd 

         则# vim /var/www/html/index/html                                         

          <html><body><h1>www.RS1.com</h1></body></html>                

(6）

[[email protected] sh]# apachectl  start //启动Apache

   yum或RPM包装的Apache用

   #service httpd start                                                        

（7）

[[email protected] sh]# netstat -tnlp //查看80端口是否打开

Active Internet connections (only servers)

Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name   

tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      1411/sshd           

tcp        0      0 127.0.0.1:25                0.0.0.0:*                   LISTEN      1490/master         

tcp        0      0 :::80                       :::*                        LISTEN      1794/httpd          

tcp        0      0 :::22                       :::*                        LISTEN      1411/sshd           

tcp        0      0 ::1:25                      :::*                        LISTEN      1490/master  

二                                                            在RS2上进行同样操作但eth0的IP 为192.168.139.4                                                           

三

Director进行配置

#ifconfig eth0 192.168.139.2 netmask 255.25.255.0 up //设置DIP

[[email protected] sh]# vim lvs.sh //配置脚本，可以启动，关闭并且查看Ipvsadm及设置VIP 

#!/bin/bash

#

VIP=192.168.139.6

RIP1=192.168.139.2

RIP2=192.168.139.4

STATUS() {

         if [ -e /var/lock/subsys/ipvsadm.lock ];then

             echo "ipvs is running..."

            /sbin/ipvsadm -L -n --stats

          else

             echo "ipvs is stop..."

         fi

         }

case $1 in

start)

   /sbin/ifconfig eth0:1 $VIP  netmask 255.255.255.0 up

   /sbin/route add -host $VIP dev eth0:1

    echo 1  > /proc/sys/net/ipv4/ip_forward #打开路由转发功能，让Director可以向后端RS转                                #发请求报文

   /sbin/iptables -F                 #清空iptables规则,iptables不能与lvs一起使用

   /sbin/iptables -Z

   /sbin/ipvsdam -C                 #清空之前的ipvsadm规则

   /sbin/ipvsadm -A -t $VIP:80 -s wlc

   /sbin/ipvsadm -a -t $VIP:80  -r $RIP1 -m -w 1

   /sbin/ipvsadm -a -t $VIP:80  -r $RIP2 -m -w 2

   /bin/touch /var/lock/subsys/ipvsadm.lock;;

stop)

   /sbin/ipvsadm -C

   /sbin/ifconfig eth0:1 down

   echo  0 > /proc/sys/net/ipv4/ip_forward

   /bin/rm -f /var/lock/subsys/ipvsadm.lock

   ;;

status)

STATUS;;

*)

  echo "Usage: `basement $0` start|stop|status "

                                                          [[email protected] sh]# ./lvs.sh start    //启动脚本                                    

[[email protected] sh]# ./lvs.sh status   //启动完成查看

ipvs is running...

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port               Conns   InPkts  OutPkts  InBytes OutBytes

  -> RemoteAddress:Port

TCP  192.168.139.6:80                    3        6        0      312        0

  -> 192.168.139.2:80                    1        2        0      104        0

  -> 192.168.139.4:80                    2        4        0      208         0

[[email protected] sh]# ifconfig  //启动DR集群后的IP配置

eth0      Link encap:Ethernet  HWaddr 00:0C:29:6F:EB:02  

          inet addr:192.168.139.3  Bcast:192.168.139.255  Mask:255.255.255.0

          inet6 addr: fe80::20c:29ff:fe6f:eb02/64 Scope:Link

          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

          RX packets:14654 errors:0 dropped:0 overruns:0 frame:0

          TX packets:9495 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:1000 

          RX bytes:2335616 (2.2 MiB)  TX bytes:1422724 (1.3 MiB)

eth0:1    Link encap:Ethernet  HWaddr 00:0C:29:6F:EB:02  

          inet addr:192.168.139.6  Bcast:192.168.139.255  Mask:255.255.255.0

          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

lo        Link encap:Local Loopback  

          inet addr:127.0.0.1  Mask:255.0.0.0

          inet6 addr: ::1/128 Scope:Host

          UP LOOPBACK RUNNING  MTU:65536  Metric:1

          RX packets:121 errors:0 dropped:0 overruns:0 frame:0

          TX packets:121 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0 

          RX bytes:12859 (12.5 KiB)  TX bytes:12859 (12.5 KiB)

 浏览器测试

                                            

  Ctrl+F5强制刷新~                                                                                                                                                                                                                                                                             

~                                                           

本文出自 “11097124” 博客，请务必保留此出处http://11107124.blog.51cto.com/11097124/1867364