LVS实现负载均衡
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了LVS实现负载均衡相关的知识，希望对你有一定的参考价值。
一、 LVS简介
LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目，它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。
使用LVS技术要达到的目标是：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。LVS 是一个实现负载均衡集群的开源软件项目，LVS架构从逻辑上可分为调度层、Server集群层和共享存储。
LVS自从1998年开始，发展到现在已经是一个比较成熟的技术项目了。可以利用LVS技术实现高可伸缩的、高可用的网络服务，例如WWW服务、Cache服务、DNS服务、FTP服务、MAIL服务、视频/音频点播服务等等，有许多比较著名网站和组织都在使用LVS架设的集群系统，例如：Linux的门户网站（www.linux.com）、向RealPlayer提供音频视频服务而闻名的Real公（www.real.com）、全球最大的开源网站（sourceforge.net）等。
二、LVS的基本工作原理
1.当用户向负载均衡调度器（Director Server）发起请求，调度器将请求发往至内核空间
2.PREROUTING链首先会接收到用户请求，判断目标IP确定是本机IP，将数据包发往INPUT链
3.IPVS是工作在INPUT链上的，当用户请求到达INPUT时，IPVS会将用户请求和自己已定义好的集群服务进行比对，如果用户请求的就是定义的集群服务，那么此时IPVS会强行修改数据包里的目标IP地址及端口，并将新的数据包发往POSTROUTING链
4.POSTROUTING链接收数据包后发现目标IP地址刚好是自己的后端服务器，那么此时通过选路，将数据包最终发送给后端的服务器
三、LVS的组成
LVS 由2部分程序组成，包括 ipvs 和 ipvsadm。
1. ipvs(ip virtual server)：一段代码工作在内核空间，叫ipvs，是真正生效实现调度的代码。
2. ipvsadm：另外一段是工作在用户空间，叫ipvsadm，负责为ipvs内核框架编写规则，定义谁是集群服务，而谁是后端真实的服务器(Real Server)
-A --add-service在服务器列表中新添加一条新的虚拟服务器记录
-t 表示为tcp服务
-u 表示为udp服务
-s --scheduler 使用的调度算法， rr | wrr | lc | wlc | lblb | lblcr | dh | sh | sed | nq 默认调度算法是 wlc
ipvsadm -A -t 192.168.1.2:80 -s wlc -a --add-server #在服务器表中添加一条新的真实主机记录
-t --tcp-service 说明虚拟服务器提供tcp服务
-u --udp-service 说明虚拟服务器提供udp服务
-r --real-server 真实服务器地址
-m --masquerading 指定LVS工作模式为NAT模式
-w --weight 真实服务器的权值
-g --gatewaying 指定LVS工作模式为直接路由器模式（也是LVS默认的模式）
-E –edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D –delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C –clear 清除内核虚拟服务器表中的所有记录。
-R –restore 恢复虚拟服务器规则
-S –save 保存虚拟服务器规则，输出为-R 选项可读的格式
-e –edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d –delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l –list 显示内核虚拟服务器表
--numeric, -n：以数字形式输出地址和端口号
--exact：扩展信息，精确值
--connection，-c：当前IPVS连接输出
--stats：统计信息
--rate ：输出速率信息 参数也可以从/proc/net/ip_vs*映射文件中查看
-Z –zero 虚拟服务表计数器清零（清空当前的连接数量等）
四、LVS相关术语
1. DS：Director Server，指的是前端负载均衡器节点。
2. RS：Real Server，后端真实的工作服务器。
3. VIP：向外部直接面向用户请求，作为用户请求的目标的IP地址。
4. DIP：Director Server IP，主要用于和内部主机通讯的IP地址。
5. RIP：Real Server IP，后端服务器的IP地址。
6. CIP：Client IP，访问客户端的IP地址。
五、IPVS实现负载均衡机制有三种，分别是NAT、TUN和DR，详述如下：
①VS/NAT： 即（Virtual Server via Network Address Translation）
也就是网络地址翻译技术实现虚拟服务器，当用户请求到达调度器时，调度器将请求报文的目标地址（即虚拟IP地址）改写成选定的Real Server地址，同时报文的目标端口也改成选定的Real Server的相应端口，最后将报文请求发送到选定的Real Server。在服务器端得到数据后，Real Server返回数据给用户时，需要再次经过负载调度器将报文的源地址和源端口改成虚拟IP地址和相应端口，然后把数据发送给用户，完成整个负载调度过程。
可以看出，在NAT方式下，用户请求和响应报文都必须经过Director Server地址重写，当用户请求越来越多时，调度器的处理能力将成为瓶颈。
(a). 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP
(b). PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(c). IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。 此时报文的源IP为CIP，目标IP为RIP
(d). POSTROUTING链通过选路，将数据包发送给Real Server
(e). Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文的源IP为RIP，目标IP为CIP
(f). Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的源IP为VIP，目标IP为CIP
LVS-NAT模型的特性：
RS应该使用私有地址，RS的网关必须指向DIP
DIP和RIP必须在同一个网段内
请求和响应报文都需要经过Director Server，高负载场景中，Director Server易成为性能瓶颈
支持端口映射
RS可以使用任意操作系统
缺陷：对Director Server压力会比较大，请求和响应都需经过director server
实例：实现基于NAT模式的LVS负载均衡：
准备三台主机：一台Director（桥接网卡、仅主机网卡）：
DIP:192.168.159.135 VIP：172.17.253.97
一台后台服务器（仅主机）：RIP：192.168.159.129 配置有小米电商网站
一台后台服务器（仅主机）：RIP：192.168.159.139 配置有小米电商网站
步骤：
一、Director上操作：
①安装ipvsadm：
yum install ipvsadm
②查看内核是否支持ipvs模块：
grep -i -C 10 "ipvs" /boot/config-3.10.0-514.el7.x86_64
③加三条记录：
开启一个基于80端口的虚拟服务，调度方式为wrr
ipvsadm -A -t 172.17.253.97:80 -s wrr
配置web服务后端real server为nat工作方式，权重为1
ipvsadm -a -t 172.17.253.97:80 -r 192.168.159.129:80 -m -w 1
ipvsadm -a -t 172.17.253.97:80 -r 192.168.159.139:80 -m -w 1
查看：ipvsadm -L -n
④开启路由转发 vim /etc/sysctl.conf
net.ipv4.ip_forward=1 或：echo 1 > /proc/sys/net/ipv4/ip_forward
sysctl -p
二、两个后台服务器上操作：
添加路由route add default gw 192.168.159.135
查看：route -n
删除：route del -net 169.254.0.0/16 dev eth0
实现基于LNMP的电子商务网站：
安装步骤：
1．下载nginx源代码yum install nginx
2．yum install mariadb、mariadb-server、php-mysql、php、php-fpm
3．mkdir -p /data/web
unzip -d /data/web/ xiaomi.zip 解压缩
chown nobody.nobody /data/web -R 修改权限为nobody
4.cp /etc/nginx/nginx.conf.default etc/nginx/nginx.conf
vim /etc/nginx/nginx.conf 修改配置文件
user nobody;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
error_log /var/log/nginx/error.log info;
http {
include mime.types;
default_type application/octet-stream;
log_format main ‘$remote_addr - $remote_user [$time_local] "$request" ‘
‘$status $body_bytes_sent "$http_referer" ‘
‘"$http_user_agent" "$http_x_forwarded_for"‘;
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
#keepalive_timeout 0;
keepalive_timeout 65;
gzip on;
server {
listen 80;
server_name xiaomi.com;
root /data/web;
location / {
index index.php index.html index.htm;
}
location ~ \.php$ {
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
include fastcgi_params;
}
systemctl start nginx 重启服务
5.vim /etc/php.ini 修改PHP.ini中功能配置
#修改时钟配置 date.timezone = Asia/Shanghai
;http://www.php.net/manual/en/ini.core.php#ini.short-open-tag
#可以在php.ini中设置short_open_tag = On
systemctl start php-fpm
6.vim /etc/php-fpm.d/www.conf 修改文件中权限
; RPM: apache Choosed to be able to access some dir as httpd
user = nobody
; RPM: Keep a group allowed to write in log dir.
group = nobody
7.create database xiaomi;-->show databases;创建数据库
vim /data/web/data/config.php 修改数据库文件
$db_host = "127.0.0.1:3306";
// 数据库名称
$db_name = "shangcheng";
// 数据库用户名
$db_user = "root";
// 数据库密码
$db_pass = "123456";
systemctl restart mariadb.service
8.网站部署和验证
1、打开http://192.168.159.129/ebak/index.php 后台恢复系统 账号 admin 密码 123456
2、配置连接数据库并连接到数据库
3、恢复网站数据信息，并验证http://192.168.159.129/index.php能正常访问
三、浏览器访问：http://172.17.253.97
测试：分别在两台后端服务器上建立html页面，测试负载均衡
客户端访问：curl http://172.17.253.97/index.html-->test1和test2循环
② VS/TUN ：即（Virtual Server via IP Tunneling）
也就是IP隧道技术实现虚拟服务器。它的连接调度和管理与VS/NAT方式一样，只是它的报文转发方法不同，VS/TUN方式中，调度器采用IP隧道技术将用户请求转发到某个Real Server，而这个Real Server将直接响应用户的请求，不再经过前端调度器，此外，对Real Server的地域位置没有要求，可以和Director Server位于同一个网段，也可以是独立的一个网络。因此，在TUN方式中，调度器将只处理用户的报文请求，集群系统的吞吐量大大提高。
(a)当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP
(b)PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(c)IPVS比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层IP报文，封装源IP为为DIP，目标IP为RIP。然后发至POSTROUTING链。 此时源IP为DIP，目标IP为RIP
(d)POSTROUTING链根据最新封装的IP报文，将数据包发至RS（因为在外层封装多了一层IP首部，所以可以理解为此时通过隧道传输）。 此时源IP为DIP，目标IP为RIP
(e)RS接收到报文后发现是自己的IP地址，就将报文接收下来，拆除掉最外层的IP后，会发现里面还有一层IP首部，而且目标是自己的lo接口VIP，那么此时RS开始处理此请求，处理完成之后，通过lo接口送给eth0网卡，然后向外传递。 此时的源IP地址为VIP，目标IP为CIP
(f)响应报文最终送达至客户端
LVS-Tun模型特性
RIP、VIP、DIP全是公网地址
RS的网关不会也不可能指向DIP
所有的请求报文经由Director Server，但响应报文必须不能进过Director Server
不支持端口映射
RS的系统必须支持隧道
③VS/DR： 即（Virtual Server via Direct Routing）
也就是用直接路由技术实现虚拟服务器。它的连接调度和管理与VS/NAT和VS/TUN中的一样，但它的报文转发方法又有不同，VS/DR通过改写请求报文的MAC地址，将请求发送到Real Server，而Real Server将响应直接返回给客户，免去了VS/TUN中的IP隧道开销。这种方式是三种负载调度机制中性能最高最好的，但是必须要求Director Server与Real Server都有一块网卡连在同一物理网段上。
(a)当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP
(b)PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(c)IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址
(d)由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。
(e)RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。 此时的源IP地址为VIP，目标IP为CIP
(f)响应报文最终送达至客户端
LVS-DR模型的特性
保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS
RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问
RS跟Director Server必须在同一个物理网络中
所有的请求报文经由Director Server，但响应报文必须不能进过Director Server
不支持地址转换，也不支持端口映射
RS可以是大多数常见的操作系统
RS的网关绝不允许指向DIP(因为我们不允许他经过director)
RS上的lo接口配置VIP的IP地址
缺陷：RS和DS必须在同一机房中
实例：实现基于DR模式的LVS负载均衡：
准备三台主机：都是桥接模式
一台Director，DIP:172.17.253.97 VIP：172.17.253.110
一台后台服务器，RIP：172.17.253.140 VIP：172.17.253.110
一台后台服务器，RIP：172.17.253.193 VIP：172.17.253.110
步骤：
一、Director上操作：
①安装ipvsadm：
yum install ipvsadm
②查看内核是否支持ipvs模块：
grep -i -C 10 "ipvs" /boot/config-3.10.0-514.el7.x86_64
③配置VIP到本地网卡别名eth0:0上，并只广播自己：
ifconfig eth0:0 172.17.253.110 broadcast 172.17.253.110 netmask 255.255.255.255 up
④添加路由：route add -host 172.17.253.110 dev eth0:0
⑤配置lvs服务，添加三条记录：
开启一个基于80端口的虚拟服务，调度方式为wrr：
ipvsadm -A -t 172.17.253.110:80 -s wrr
配置web服务后端real server 为DR工作方式，权重为1
ipvsadm -a -t 172.17.253.110:80 -r 172.17.253.140:80 -g -w 1 -g：直接路由模式
ipvsadm -a -t 172.17.253.110:80 -r 172.17.253.193:80 -g -w 1
ipvsadm -L -n
二、后台服务器上操作：
①配置VIP到本地回环网卡lo上，并只广播自己：
ifconfig lo:0 172.17.253.110 broadcast 172.17.253.110 netmask 255.255.255.255 up
②配置本地回环网卡路由：
route add -host 172.17.253.110 lo:0
③忽略ip与mac不匹配的问题：
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
三、测试：分别在两台后端服务器上建立html页面，测试负载均衡
客户端访问：curl http://172.17.253.110/index.html-->test1和test2循环
通常情况下企业中最常用的是 DR 实现方式，而 NAT 配置上比较简单和方便
六、LVS的八种调度算法
1. 轮叫调度 rr
这种算法是最简单的，就是按依次循环的方式将请求调度到不同的服务器上，该算法最大的特点就是简单。轮询算法假设所有的服务器处理请求的能力都是一样的，调度器会将所有的请求平均分配给每个真实服务器，不管后端 RS 配置和处理能力，非常均衡地分发下去。
2. 加权轮叫 wrr
这种算法比 rr 的算法多了一个权重的概念，可以给 RS 设置权重，权重越高，那么分发的请求数越多，权重的取值范围 0 – 100。主要是对rr算法的一种优化和补充， LVS 会考虑每台服务器的性能，并给每台服务器添加要给权值，如果服务器A的权值为1，服务器B的权值为2，则调度到服务器B的请求会是服务器A的2倍。权值越高的服务器，处理的请求越多。
3. 最少链接 lc
这个算法会根据后端 RS 的连接数来决定把请求分发给谁，比如 RS1 连接数比 RS2 连接数少，那么请求就优先发给 RS1
4. 加权最少链接 wlc
这个算法比 lc 多了一个权重的概念。
5. 基于局部性的最少连接调度算法 lblc
这个算法是请求数据包的目标 IP 地址的一种调度算法，该算法先根据请求的目标 IP 地址寻找最近的该目标 IP 地址所有使用的服务器，如果这台服务器依然可用，并且有能力处理该请求，调度器会尽量选择相同的服务器，否则会继续选择其它可行的服务器
6. 复杂的基于局部性最少的连接算法 lblcr
记录的不是要给目标 IP 与一台服务器之间的连接记录，它会维护一个目标 IP 到一组服务器之间的映射关系，防止单点服务器负载过高。
7. 目标地址散列调度算法 dh
该算法是根据目标 IP 地址通过散列函数将目标 IP 与服务器建立映射关系，出现服务器不可用或负载过高的情况下，发往该目标 IP 的请求会固定发给该服务器。
8. 源地址散列调度算法 sh
与目标地址散列调度算法类似，但它是根据源地址散列算法进行静态分配固定的服务器资源。
实验一、实现LVS持久连接（基于上面的DR实验）:
功能：无论ipvs使用何种scheduler，其都能够实现在指定时间范围内始终将来自同一个ip地址的请求发往同一个RS；此功能是通过lvs持久连接模板实现，其与调度方法无关。
步骤：
①在iptables打上标记，把80端口标记为99
iptables -t mangle -A PREROUTING -d 192.168.159.110 -p tcp --dport 80 -j MARK --set-mark 99
②在iptables打上标记，把443端口标记为99
iptables -t mangle -A PREROUTING -d 192.168.159.110 -p tcp --dport 443 -j MARK --set-mark 99
③清除之前的虚拟服务器表的记录：ipvsadm -C
④在lvs上建立基于99号标记的虚拟服务
ipvsadm -A -f 99 -s rr -p
⑤设置后端服务地址
ipvsadm -a -f 99 -r 192.168.159.121 -g
ipvsadm -a -f 99 -r 192.168.159.120 -g
⑥测试：使用不同主机测试，同一主机访问到页面的不变
客户端访问：curl http://192.168.159.110/index.html-->test2
实验二、实现健康状态监测（基于上面DR和持久连接的实验）：
一、安装工具包：
1.安装ldirectord：
①yum install lftp
②lftp 172.17.0.1
lftp 172.17.0.1:~> cd /pub/Sources/7.x86_64/crmsh/
lftp 172.17.0.1:/pub/Sources/7.x86_64/crmsh>
get ldirectord-3.9.6-0rc1.1.1.x86_64.rpm
③yum localinstall lbirectord-3.9.6-0rc1.1.1.x86_64.rpm
二、编辑配置文件：
①拷贝配置文件模板
cp /usr/share/doc/ldirectord-3.9.6/ldirectord.cf /etc/ha.d/
②编辑配置文件，修改下面几行
vim /etc/ha.d/ldirectord.cf
quiescent=no
no表示删除检测不过关的realserver记录，yes表示设置其权重为0而不是删除记录。
virtual=192.168.159.110:80
real=192.168.159.120:80 gate 2 2表示权重
real=192.168.159.121:80 gate 2
scheduler=wrr
request="ok.html"
receive="ok"
三、清除虚拟服务器表的所有记录：ipvsadm -C
四、启动服务：systemctl start ldirectord。会自动生成虚拟服务器表
查看 ipvsadm -L -n
五、在realserver后端服务器上准备ok.html页面，内容为ok。
real-server的配置：
real-server1上：cd /data/web/然后输入echo "ok" > ok.html
real-server2上：cd /data/web/然后输入echo "ok" > ok.html
六、测试：当修改其中一个realserver的ok.html时，虚拟服务器表中就少了该机器的记录，而且客户端访问时也不访问该机器了。
当ok.html页面恢复后，虚拟服务器表中的记录就又添加了，而且客户端也能访问到该服务器了
（注：根据内容检测，当内容不一致时，就会被down掉lvs-server上：ipvsadm -L -n-->192.168.159.120:80
real-server2上：修改ok.html文件内容为down
lvs-server上：ipvsadm -L -n-->127.0.0.1:80
以上是关于LVS实现负载均衡的主要内容，如果未能解决你的问题，请参考以下文章