LVS部署测试

Posted 2020-09-28

防伪码：没有相当程度的孤独是不可能有内心的平和。

1、概念

1.1 介绍

负载均衡技术有很多实现方案，如基于DNS域名轮流解析的方法、基于客户端调度访问的方法、基于应用层系统负载的调度方法，还有基于IP地址的调度方法，在这些负载调度算法中，执行效率最高的就是IP负载均衡技术。

LVS的IP负载均衡技术是通过ipvs内核模块来实现的，ipvs是LVS集群系统的核心软件，它的主要作用是：安装在Director Server上，同时在Director Server上虚拟出一个IP地址，用户必须通过这个虚拟的IP地址访问集群服务。这个虚拟IP一般称为LVS的VIP，即Virtual IP。访问的请求首先经过VIP到达负载调度器，然后由负载调度器从Real Server列表中选取一个服务节点响应用户的请求。当用户的请求到达负载调度器后，调度器如何将请求发送到提供服务的Real Server节点，而Real Server节点如何返回数据给用户，是ipvs实现的重点技术，ipvs实现负载均衡机制有四种，分别是NAT、TUN和DR以及后来经淘宝开发的FullNAT。

LVS是Linux Virtual Server的简写，即Linux虚拟服务器，可以在UNIX/Linux平台下实现负载均衡集群功能。该项目在1998年5月由章文嵩博士成立，是国内最早出现的自由软件项目之一。

Linux内核2.4.24版本以后IPVS已经成为Linux官方标准内核的一部分。LVS在内核中的名字是IPVS。

LVS分为两个部件：ipvs和ipvsadm

• ipvs ： 工作于内核空间，主要用于使用户定义的策略生效；

• ipvsadm : 工作于用户空间，主要用于用户定义和管理集群服务的工具；

不能直接配置内核中的IPVS，而需要使用IPVS的管理工具ipvsadm进行管理。也可以通过keepalived软件直接管理ipvs。

ipvs工作于内核空间的INPUT链上，当收到用户请求某集群服务时，经过PREROUTING链，经检查本机路由表，送往INPUT链；在进入netfilter的INPUT链时，ipvs强行将请求报文通过ipvsadm定义的集群服务策略的路径改为FORWORD链，将报文转发至后端真实提供服务的主机。

1.2 结构

LVS 集群分为三层结构：

• 负载调度器(load balancer)：它是整个LVS 集群对外的前端机器，负责将client请求发送到一组服务器[多台LB IP]上执行，而client端认为是返回来一个同一个IP【通常把这个IP 称为虚拟IP/VIP】

• 服务器池(server pool)：一组真正执行client 请求的服务器，一般是我们的web服务器；除了web，还有FTP，MAIL，DNS

• 共享存储(shared stored)：它为 server pool 提供了一个共享的存储区，很容易让服务器池拥有相同的内容，提供相同的服务

1.3 工作模式

VS/NAT（Virtual Server via Network Address Translation）：网络地址映射，通过网络地址转换，调度器LB重写请求报文的目标地址，根据预设的调度算法，将请求分派给后端的真实服务器；真实服务器的响应报文处理后，返回时必须通过调度器，经过调度器时报文的源地址被重写，再返回给客户，完成整改负载调度过程。

IP TUN（IP隧道）：是将一个IP报文封装在另一个IP报文的技术，这可以使得目标为一个IP地址的数据报文能被封装和转发到另一个IP地址。IP隧道技术亦称为IP封装技术(IP encapsulation)。Director和RealServer必需在物理上有一个网卡通过不间断的局域网相连。 RealServer上绑定的VIP配置在各自Non-ARP的网络设备上(如lo或tunl),Director的VIP地址对外可见，而RealServer的VIP对外是不可见的。RealServer的地址即可以是内部地址，也可以是真实地址。

VS/DR（Virtual Server Direct Routing，直接路由）：通过改写请求报文的目标MAC地址，将请求发给真实服务器，而真实服务器将响应后的处理结果直接返回给客户端用户。但要求调度器LB和真实服务器RS都有一块网卡连在同一物理网段上，即必须在同一个局域网环境。

1.4  常用的调度算法

常用算法	使用说明
RR	Round Robin(轮询调度)，它将请求依次分配给不同的RS节点，也就是RS节点均摊请求，这种算法比较简单，但只适合RS节点性能相差不大的情况。
WRR	Wighted Round Robin(加权轮询调度)，根据不同RS节点的权值分配任务，权值较高的RS将优先获得任务，且分配到的连接数比权值低的要多。
DH	Destination Hashing(目标地址哈希调度)，以目的地址为关键字查找一个静态hash表来获得需要的RS。
SH	Sourse Hashing(源地址哈希调度)，以源地址为关键字查找一个静态hash表来获得需要的RS。
WLC	Weighted Least Connection(加权最小连接数调度)，假设各台RS的权值为Wi，当前的TCP连接数为Ti，选取Ti/Wi为最小的RS作为下一个分配的RS。
LC	Least Connection（最小连接数调度），将新的连接请求发送给当前TCP连接数最小的RS节点。
LBLC	Locality-Based Least Connection(基于地址的最少连接数调度)，根据请求的目标IP地址找出该IP地址最近使用的RealServer，若该RealServer是可用且没超载，则将请求发送给该服务器；若服务器不存在或超载，则用最少连接数的原则选出一个可用的RS，将请求发送到该RS。
LBLCR	Replicated and Locality-Based Least Connction(基于地址带重复最小连接数调度)，对于某个目的地址，对应有一个RS子集。若对此地址请求，则会分配子集中连接数最小的RS；若子集中所有RS都满负荷，则从集群中选择一个连接数最小的RS，将它加入到此子集中并分配连接；若一定时间内，未做任何修改，则删除子集中负载最高的RS节点。
SED	Shortest Expected Delay scheduling SED(最短期望延迟)，基于WLC算法，根据Ti+n/Wi最小值作为下一个分配的RS。
NQ	Nerver Queue Scheduling(最少队列调度)，如果有台RS的连接数为0，则直接分配过去，不需要进行SED运算。

2、部署测试

2.1 环境准备

主机名	IP	VIP	系统
Director	192.168.10.51	192.168.10.31	CentOS release 6.9 (Final)
RS-01	192.168.10.52		CentOS release 6.9 (Final)
RS-02	192.168.10.53		CentOS release 6.9 (Final)

2.2 RS节点准备

两台RS均部署nginx

# 安装pcre和openssl
yum install -y pcre-devel openssl-devel

# 编译安装nginx
useradd nginx -s /sbin/nologin -M
wget http://nginx.org/download/nginx-1.12.0.tar.gz
tar zxf nginx-1.12.0.tar.gz
cd nginx-1.12.0
./configure --user=nginx --prefix=/app/nginx-1.12.0/ --with-http_stub_status_module --with-http_ssl_module --with-http_relip_module
make && make install
ln -s /app/nginx-1.12.0 /app/nginx

# 启动nginx
/app/nginx/sbin/nginx -t
/app/nginx/sbin/nginx

2.3 安装LVS

# 安装依赖包
yum install -y libnl* popt*

# 编译安装ipvsadm
cd /opt
wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz
tar zxf ipvsadm-1.26.tar.gz
cd ipvsadm-1.26
make && make install

# 加载ip_vs模块
modprobe ip_vs
lsmod|grep ip_vs

# 添加VIP
ifconfig eth0:0 192.168.10.31/24 up
route add -host 192.168.10.31 dev eth0

# 配置ipvsadm
ipvsadm -C
ipvsadm --set 30 5 60
ipvsadm -A -t 192.168.10.31:80 -s rr -p 20
ipvsadm -a -t 192.168.10.31:80 -r 192.168.10.52 -g -w 1
ipvsadm -a -t 192.168.10.31:80 -r 192.168.10.53 -g -w 1
ipvsadm -L -n

2.4 配置RS

2.4.1 配置RS-01

# 添加RS-01节点测试页面
echo "RS-01-192.168.10.52" >/app/nginx/html/index.html

# 添加路由
ifconfig lo:0 192.168.10.31/32 up
route add -host 192.168.10.31 dev lo

# arp_ignore：定义对目标地址为本地IP的ARP询问的不同应答模式。
# arp_announce：对网络接口上，本地IP地址发出的ARP回应做出相应级别的限制，回应限制。
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

2.4.2 配置RS-02

echo "RS-02-192.168.10.53">>/app/nginx/html/index.html
ifconfig lo:0 192.168.10.31/32 up
route add -host 192.168.10.31 dev lo
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

3、测试

在浏览器地址栏输入http://192.168.10.31

由于浏览器有缓存及LVS默认会话保持等影响，测试的时候要多次测试且间隔一定时间才能切换到另一台，尽可能换不同的客户端测试。

本文出自 “简明Linux” 博客，请务必保留此出处http://easylinux.blog.51cto.com/9732761/1947398