集群负载均衡之lvs和keepalived

Posted 2020-07-28

本篇主要介绍集群的负载均衡。

lvs是一种集群(Cluster)技术，采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。

LVS主要组成部分为：

　　负载调度器(load balancer/ Director)，它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址(我们可称之为虚拟IP地址)上的。

　　服务器池(server pool/ Realserver)，是一组真正执行客户请求的服务器，执行的服务一般有WEB、MAIL、FTP和DNS等。

　　共享存储(shared storage)，它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。

LVS负载均衡方式:

1.Virtual Server via Network Address Translation NAT(VS/NAT)

VS/NAT是一种最简单的方式，所有的RealServer只需要将自己的网关指向Director即可。客户端可以是任意操作系统，但此方式下，一个Director能够带动的RealServer比较有限。在VS/NAT的方式下，Director也可以兼为一台RealServer。

    2.Virtual Server via IP Tunneling(VS/TUN)

IP隧道(IP tunneling)是将一个IP报文封装在 另一个IP报文的技术，这可以使得目标为一个IP地址的数据报文能被封装和转发到另一个IP地址。IP隧道技术亦称为IP封装技术(IP encapsulation)。IP隧道主要用于移动主机和虚拟私有网络(Virtual Private Network)，在其中隧道都是静态建立的，隧道一端有一个IP地址，另一端也有唯一的IP地址。它的连接调度和管理与VS/NAT中的一样，只是它的 报文转发方法不同。调度器根据各个服务器的负载情况，动态地选择一台服务器，将请求报文封装在另一个IP报文中，再将封装后的IP报文转发给选出的服务器;服务器收到报文后，先将报文解封获得原来目标地址为 VIP 的报文，服务器发现VIP地址被配置在本地的IP隧道设备上，所以就处理这个请求，然后根据路由表将响应报文直接返回给客户。

3.VS/DR 直连模式

    VS/DR方式是通过改写请求报文中的MAC地址部分来实现的。Director和RealServer必需在物理上有一个网卡通过不间断的局域网相连。 RealServer上绑定的VIP配置在各自Non-ARP的网络设备上(如lo或tunl),Director的VIP地址对外可见，而RealServer的VIP对外是不可见的。RealServer的地址即可以是内部地址，也可以是真实地址。

VS/DR的工作流程：它的连接调度和管理与VS/NAT和VS/TUN中的一样，它的报文转发方法又有不同，将报文直接路由给目标服务器。在 VS/DR中，调度器根据各个服务器的负载情况，动态地选择一台服务器，不修改也不封装IP报文，而是将数据帧的MAC地址改为选出服务器的MAC地址， 再将修改后的数据帧在与服务器组的局域网上发送。因为数据帧的MAC地址是选出的服务器，所以服务器肯定可以收到这个数据帧，从中可以获得该IP报文。当 服务器发现报文的目标地址VIP是在本地的网络设备上，服务器处理这个报文，然后根据路由表将响应报文直接返回给客户

 

实验环境：两台虚拟机server1、server2作为realserver(rs).

          两台虚拟机server3、server4作为virtualserver(vs).

          rhel6.5

          iptables, selinux disabled

 

一．安装lvs

在server2上

#  yum install ipvsadm-1.25-10.el6.x86_64.rpm

 

在server3、server4上，安装并启动httpd，并在html目录下新建内容为本机hostname的index.html文件

 

LVS有十种调度算法：

 

 

下面增加一台新的虚拟服务器实现负载均衡中的DR模式。

在server2 中

#ip addr add 172.25.0.100/24 dev eth0  //给vs添加vip。

#ipvsadm -l                     //   显示vs列表

#ipvsadm -C        // 清空vs列表

#ipvsadm -A -t 172.25.0.100:80 -s rr  //制定lvs的vip，并使用轮叫调度算法

#ipvsadm -a -t 172.25.0.100:80 -r 172.25.0.3:80 -g //增加一台新的虚拟服务器

#ipvsadm -a -t 172.25.0.100:80 -r 172.25.0.4:80 -g //增加一台新的虚拟服务器

#/etc/init.d/ipvsadm save      //保存lvs设置

#ipvsadm -l   //查看当前lvs列表。 

 

根据DR工作原理，在RS（即server3、server4）上要加vip

 

在web上输入172.25.0.100，不断刷新，页面交替出现server3.example.com和server4.example.com，正是rr算法的体现。

在真机上

#arp -an     //查看ip对应的mac地址

由于没有启用no-arp，因此vip对应的mac为rs中任意一个。

  

实现ARP欺骗：

在两台rs上

#yum install arptables_jf -y

#arptables -A IN -d 172.25.0.100 -j DROP //RS忽略所有针对虚拟ip的arp请求

#arptables -A OUT -s 172.25.0.100 -j manle --mangle-ip-s 172.25.0.3   //改变向外的arp回应，把原先包含vip的arp回应改为包含server3的ip。

#/etc/init.d/arptables_jf save  //保存arptables_jf配置

 

在server2上，

将/usr/share/dos/ldirectord-3.95/ldirectord.cf 拷贝到/etc/ha.d下。

编辑/etc/init.d/ldirectord，改vs与rs相应的ip，注释掉persistent=600（持续时间太长，效果不明显），fallback为127.0.0.1:80 gate表示当rs服务都坏掉后启用调度器的服务。

启用ldirectord服务 。

注：ldirectord：用这个软件可以自动检测后端服务器是否连接。如果网络down掉，直接在ipvsadm表里边把这个后端的权值变为0，代表不用这个后端。如果网络恢复,ipvsadm表中这个后端的权重又变为设置的值，代表可用。

在rs上重启httpd。

 

将lvs整合到heartbeat中

 

将server2上的ldirectord.cf文件复制到server1上。并关掉httpd、ldirectord服务，删除vip。 

在server1上，编辑/etc/ha.d/haresource，在最后一行添加

server1.example.com IPaddr::172.25.0.100/24/eth0 httpd ldirectord   //通过高可用heartbeat调用ldirecord和httpd

然后将该文件复制到server2中。并启动两vs的heartbeat。启动server1的httpd。

在server1上，查看messages日志可以看到lvs已经加载。vip已自动添加。

 

在真机上，通过arp -an 可以看到vip的mac地址为调度器server1的mac地址。（arp欺骗成功）

将server3和server4的httpd都停掉，web内容为server1.example.com.

 

keepalived

 

keepalived是集群管理中保证集群高可用的一个服务软件，其功能类似于heartbeat，用来防止单点故障，实现双机热备。通常说的双机热备是指两台机器都在运行，但并不是两台机器都同时在提供服务。当提供服务的一台出现故障的时候，另外一台会马上自动接管并且提供服务，而且切换的时间非常短。大公司一般用rhcs（Red Hat Cluster Suite），keepalived适用于小型公司。

工作原理

keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。

虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。

keepalived主要有三个模块，分别是core、check和vrrp。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。

配置：

停掉调度器heartbeat、ldirectord、删除vip。

在server1上，解压keepalived-1.2.20.tar.gz，yum安装libnl,libnl-devel

#./configure --prefix=/usr/local/keepalived

#make && make install

复制/usrlocalkeepalived文件夹到server2中。

建立链接

ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ln -s /usr/local/keepalived/etc/keepalived /etc/ln -s /usr/local/keepalived/sbin/keepalived /sbin/ln -s /usr/local/keepalived/bin/genhash /bin/

在server1上，编辑/etc/keepalived/keeplived.conf

global_defs {notification_email {      [e-mail] #指定接受报警的邮箱，可以有多个}notification_email_from [email protected] #发送邮件的地址smtp_server 127.0.0.1          #smtp server 地址smtp_connect_timeout 30        #smtp超时时间router_id LVS_DEVEL            #load balancer 的标识 ID,用于 email 警报} vrrp_instance VI_1 { state MASTER         #设定lvs主备机状态，备机为BACKUP interface eth0       #HA 监测网络接口 virtual_router_id 51 #主备机的id必须相同 priority 100         #设定优先级，数字越高优先级有高，主机优先级要高于备机 advert_int 1         #主备机通信间隔时间 authentication {    auth_type PASS   #设置验证类型,主要有 PASS 和 AH 两种    auth_pass 1111   #主备机必须一致 }virtual_ipaddress {    172.25.0.100   #设定虚拟ip，可多个} } virtual_server 172.25.0.3 80 {  #通过端口定义虚拟服务器，80为apache端口delay_loop 6                 #每隔 6 秒查询 realserver 状态lb_algo rr                   #lvs调度算法为论询lb_kind DR                   #lvs为直连模式

# persistence_timeout 50 #设定连接保持时间 protocol TCP #指定转发协议

real_server 172.25.0.3 80 {  #定义真实服务器    weight 1                  #配置权重    TCP_CHECK {               #设置真实服务器检查为tcp查询        connect_timeout 3     #设定超时时间        nb_get_retry 3        #重试次数         delay_before_retry 3  #重试间阁    }}real_server 172.25.0.4 80 { #另一台真实服务器用以实习负载均衡    weight 1    TCP_CHECK {        connect_timeout 3        nb_get_retry 3        delay_before_retry 3    }}}

并复制该文件到server2（备机）上，并修改state为BACKUP，priority为50.

在server1上，启动keepalived服务，在messages日志上可以看到VRRP是MASTER模式，vip已添加。

停掉server1的keepalived，启动server2的keepalived。在日志可看到vrrp为master模式且添加了vip

 

以rs的vsftp服务配置keepalive服务。

在两rs上安装启动vsftpd。在/var/ftp/pub下各新建名为server3、server4的文件。

#vim /etc/sysconfig/arptables

添加

[0:0] -A IN -d 172.25.0.101 -j DROP

[0:0] -A OUT -s 172.25.0.101 -j mangle --mangle-ip-s 172.25.0.4(server3为3） //通过文件方式实现arp欺骗

新添加vip172.25.0.101/32并重启arptables_jf服务。

在vs上，修改keepalived.conf文件。将原vip改为172.25.0.101，并取消persistence_timeout 60的注释，将rs的端口改为21端口（vsftp的端口），调度模式为wlc（加权最小连接）。

在server1上，

#/etc/init.d/keepalived reload

#ipvsadm -l 

 

 

在真机上

#lftp 172.25.0.101

~>ls

显示server4

在server2上，

#lftp 172.25.0.101

~>ls

 显示server3（server4已被使用，根据wlc自动切到server3）。