lvs IP负载均衡

Posted 2020-10-18 繁星下的晴空

LVS在 基本的生产环境中，都会同时运行在二台硬件相近的服务器上：LVS Router（主LVS），一个作为备份LVS（备份LVS）。

主 LVS 服务器在网站的前端起两个作用：

（1） 均衡负载压力到真实服务器（web）上

（2）检查后面真实服务器提供是否正常.

备份LVS用来监控主LVS和备份主服务器，在当故障出现时LVS 死机 fail 掉了 以后， 以后启动会自己主动接管主LVS 的工作。

基中有一个教 Pulse （心跳服务） 运行在主LVS和备LVS上。在备份LVS上，每秒 pluse 发送一个心跳（heartbeat）到主LVS的外网接口检测主LVS服务是否正常。 当然在主LVS上，也有pulse服务，它主要是响应备份LVS心跳。

LVS进行调用 ipvsadm 工具（RedHat开发）去配置和维护 IPVS 路由表， 它会为每一个在真实的服务器上的虚拟服务器启动一个nanny进程。每一个nanny进程去检测真实的服务器状况，如果有异常，就会将故障情况通知LVS进程。当故障时，LVS进程通知 ipvsadm 在 IPVS 路由表中将此节点删除。当然，它发现故障的机器恢复也能自动的加入到服务器中来。

如果备份LVS未收到来自于主LVS的响应，他将调用send_arp将虚拟IP地址在分配到备份的LVS的公网接口上。并在公网接口和局域网接口上分别发送一个命令去关掉主LVS上的LVS进程。同时启动自己的LVS进程来调度客户端请求。

下面是一个大中型网站 LVS 架构的服务器：

像平时在大中型网站服务器架构，基本就像上面一样。上面是一个服务器提供同一种服务，如image的服务

如上所示，最前面是一组主备LVS服务器，他们由心跳联系在一起 。接下来是一组功能相同的Real server服务器 。有可能是Apache，nginx，squid之类的服务器。在接下来是一组应用服务器，应用服务器用的Redhat Cluster 组成。最后，给所有的网站数据放到一个网路文件系统NFS AND 分部文件系统GFS上shared  Storage， 原来提供所有的Real Server同时读写。 当然，你也可以用SAN的存储服务器

 二. IP 负载均衡技术：

      在 LVS上调度器的实现技术中，由VS/NAT、VS/TUN、和VS/DR这三种方法来实现使用负载均衡。 IP负载均衡技术是效率最高的。已经有了 IP负载均衡技术中有通过网路地址转换（Network Address Translation） 将一组服务器构成一个高性能、高可用虚拟服务器，我们称之为VS/NAT技术 （Virtual Server via Network Address Translation） ，大多数商品化的IP负载均衡调度器产生品都是使用此方法，若思科的localDirector、F5 的Big/IP 和 Alteon的ACEDirector。当然在分析 VS/NAT的缺点和网络服务的非对称性的基础上，LVS的作者提出通过IP隧道实现虚拟服务器的方法VS/TUN (Virtual Server via IP Tunneling)，和通过直接路由实现虚拟服务器的方法 VS/DR(Virtual Server via DIirect Routing), 它们可以极大的提高系统的伸缩性。

介绍三种IP负载均衡的方案：

（1.）使用VS/NAT方法:

     客户通过Virtual IP Address（虚拟服务器IP地址） 访问网络服务时，请求报文到达调度器，调度器根据连接调度算法（下面会提到）

从一组真实的服务器中选出一台服务器，将报文的目标地址 Virtual IP Address 改写成选定服务器地址，报文的目标端口改写成选定的服务器的相应端口，最后将修改的报文发送给选出服务器。同时，调度器在连接 Hash 表中记录这个连接，当这个连接的下一个报文到达时，从连接Hash表中可以得到原选定服务器的地址和端口，进行同样的改写操作，并将报文传给原选定的服务器。当来自真实的服务器响应报文经过调度器时，调度器将报文的源地址和源端口改为Virtual IP Address和响应端口，在把报文发送给用户。

这个很像nginx的七层调度，所以大约能支持后端机器只有10台的样子。因为这台调度器就成了瓶颈。

2.使用VS/TUN

          VS/TUN的连接调度和管理与 VS/NAT 中的一样，只是它的报文转发方法不同。调度器根据各个服务器的负载情况，动态的选择一台服务器。将请求的报文封装在另一个IP报文中，在将封装后的IP报文转发给选出的服务器；服务器收到报文后，现将报文解封获得原来目标地址为VIP的报文，服务器发现VIP地址配置在本地的IP隧道设备上，所以就处理这个请求，然后根据路由器表将响应报文直接返回给客户。

3.使用VS/DR

      调度器和服务器组都必须在物理上有一个网卡通过不断的局域网相连，如通过交换机或者高速HUB相连。VIP地址为调度器和服务器 组共享，调度器配置的VIP地址是对外可见的，用于接受虚拟服务器的请求报文；所有的服务器 把VIP地址配置在各自的Non-ARP网络设备上

，它对外面是不可见的，只是用于处理目标地址为VIP的网络请求。在VS/DR中， 调度器根据各个服务器的负载情况，动态选择一台服务器，不修改也不封装IP报文，而是将数据帧MAC的地址改为选出服务器的MAC，在将修改后的数据帧在服务器的局域网上发送。因为数据帧的MAC地址选出的服务器，肯定可以收到数据帧，从中可以获得IP报文。当服务器发现报文的目标地址VIP是在本地网络设备上，服务器处理这个报文，然后根据路由表将响应 报文直接返回给客户。

 

   VS/TUN相比，这种方法没有IP隧道的开销，但是 要求敷在调度器与实际服务器都有一块网卡连载同一物理段上，服务器网络设备（或者设备别名）不做ARP响应，或者能将报文重定向（Redirect）到本地的Socket端口上。

三 负载调度算法

   针对不同网络服务需求和服务器配置，IPVS 调度实现了 如下八种负载调度算法：

  1. 论调（round robin）

   调度器通过“轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每台服务器，而不管服务器上实际连接数和系统负载。

 2. 加权轮叫（Weighterd Round Robin）

    调度器通过”加权轮叫“调度算法根据真实的服务器不同的处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问。调度器可以根据自动的问询真实的服务器的负载情况，并动态的调整其权值。

3.最少链接（Least Connections）

  调度器通过”最少链接“调度算法动态的将网络的请求调度到已建立的链接数最少的服务器上。如果集群系统真实的服务器具有相近的系统性能，采用”最小链接“调度算法可以较好的均衡负载

4.加权最少链接（Weighted  least Connections）

   在集群系统中的服务器性能相差较大的情况下调度器采取“加权最少连接”调度算法优化负载均衡性能，具有较大的承受比例的活动连接负载。调度器可以自动问询真实的服务器的负载情况，并动态的调整期权值

5.基于局部性的最少连接（locality-Based Least Connections）

"基于局部性的最少链接“ 调度算法是针对目标IP地址负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用且没有超载，将请求发送到该服务器；若服务器不存在，或者改服务器超载且有服务器处于一半的工作负载，则用“最少连接“的原则选出一个可用的服务器，将请求发送到该服务器

6.带复制的基于局部性最少的连接（locality-Based Least Connetions with Replication）

“带复制的基于局部最少链接”调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址对应的服务器组，按“最小链接”原则从这个集群选出一台服务器，将该服务器加入到服务器组中，将请求发送到改服务器。同时，当服务器组有段时间没有别修改，将最忙的服务器从服务器组中删除，以降低复制程度。

7目标地址散列：

“目标地址散列”调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配到散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空

8.源地址散列（Source Hashing）

 “源地址散列”调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，请将请求发送到该服务器，否则返回空。

总结

根据上面的分析，我们知道，在lvs中有VS/NAT、VS/TUN和VS/DR这三种方法实现负载均衡，和8种调度算法。下面我老针对不同的服务实现方法如你是用web服务器一般采用普通的IP隧道负载均衡，流媒体服务器使用IPVS负载调度器一般使用直接路由方法（即VS/DR方法），对Cache服务如CND之类的技术应用中一般使用IP隧道方法（即VS/TUN方法）