LVS调度

Posted 2020-11-14

1、本章内容
集群概念
LVS介绍
LVS实现
ldirectord

2、Cluster概念
系统扩展方式：
Scale UP：向上扩展,增强 ，价格高昂
Scale Out：向外扩展,增加设备，调度分配问题，Cluster
Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统
Linux Cluster类型：
LB：Load Balancing，负载均衡 每个机器提供一部分访问量，能者多劳 LVS实现
HA：High Availiablity，高可用，避免SPOF（single Point Of failure） 如MHA
MTBF:Mean Time Between Failure 平均无故障时间
MTTR:Mean Time To Restoration（ repair）平均恢复前时间
A=MTBF/（MTBF+MTTR）
(0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%, 99.9999%
HPC：High-performance computing，高性能 www.top500.org 分块计算然后进行汇总
分布式系统：
分布式存储：云盘 数据切块或按文件名存储在许多个服务器，容错放，安全存储
分布式计算：hadoop，Spark

3、Cluster分类
LB Cluster的实现
硬件
F5 Big-IP
Citrix Netscaler
A10 A10
软件
lvs：Linux Virtual Server
nginx：支持四层调度
haproxy：支持四层调度 ，专业
ats：apache traffic server，yahoo捐助
perlbal：Perl 编写
pound

4、Cluster分类
基于工作的协议层次划分：
传输层（通用）：DPORT
LVS：
nginx：stream
haproxy：mode tcp
应用层（专用）：针对特定协议，自定义的请求模型分类
proxy server：
http：nginx, httpd, haproxy(mode http), ...
fastcgi：nginx, httpd, ...
mysql：mysql-proxy, ...
注意：http协议不保存状态信息，如连接后刷新，需要重新登录
5、Cluster相关
会话保持：负载均衡
(1) session sticky：同一用户调度固定服务器
Source IP：LVS sh算法（对某一特定服务而言）
Cookie
(2) session replication：每台服务器拥有全部session
session multicast cluster
(3) session server：专门的session服务器
Memcached，Redis
HA集群实现方案
keepalived:vrrp协议
ais:应用接口规范
heartbeat
cman+rgmanager(RHCS)
coresync_pacemaker

6、LVS介绍
LVS：Linux Virtual Server，负载调度器，集成内核 章文嵩 阿里
官网：http://www.linuxvirtualserver.org/
VS: Virtual Server，负责调度 前端调度，不真正提供服务
RS: Real Server，负责真正提供服务
L4：四层路由器或交换机
工作原理：VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算
法来挑选RS
iptables/netfilter：
iptables：用户空间的管理工具
netfilter：内核空间上的框架
流入：PREROUTING --> INPUT
流出：OUTPUT --> POSTROUTING
转发：PREROUTING --> FORWARD --> POSTROUTING
DNAT：目标地址转换； PREROUTING

7、LVS集群体系结构

8、LVS概念
lvs集群类型中的术语：
VS：Virtual Server，Director Server(DS) Dispatcher(调度器)，Load Balancer
RS：Real Server(lvs), upstream server(nginx) backend server(haproxy)
CIP：Client IP
VIP: Virtual serve IP VS外网的IP
DIP: Director IP VS内网的IP 只是保障网络通讯，没有参与到LVS过程中
RIP: Real server IP
访问流程：CIP <--> VIP == DIP <--> RIP

9、lvs集群的类型
lvs: ipvsadm/ipvs
ipvsadm：用户空间的命令行工具，规则管理器 用于管理集群服务及RealServer
ipvs：工作于内核空间netfilter的INPUT钩子上的框架
lvs集群的类型：
lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
lvs-dr：操纵封装新的MAC地址
lvs-tun：在原请求IP报文之外新加一个IP首部
lvs-fullnat：修改请求报文的源和目标IP

10、vs-nat模式
lvs-nat：
本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS
的RIP和PORT实现转发；
（1）RIP和DIP应在同一个IP网络（但是也可以不在同一个网络用路由器隔开，只是响
应速度会受到影响），且应使用私网地址；RS的网关要指向DIP；
（2）请求报文和响应报文都必须经由Director转发，Director 易于成为系统瓶颈
（3）支持端口映射，可修改请求报文的目标PORT
（4）VS必须是Linux系统，RS可以是任意OS系统

11、VS/NAT的体系结构

12、NAT模式IP包调度过程

注意：lvs-nat模式请求包和响应包都要经过vs服务器，vs压力大，容易成为性能瓶颈；由此
出现了lvs-DR模式；

13、NAT模式

14、LVS-DR模式
LVS-DR：Direct Routing，直接路由，LVS默认模式,应用最广泛 ,通过为请求报文重新封装
一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的
RIP所在接口的 MAC地址；源IP/PORT，以及目标IP/PORT均保持不变
Director和各RS都配置有VIP
（1） 确保前端路由器将目标IP为VIP的请求报文发往Director
在前端网关做静态绑定VIP和Director的MAC地址
在RS上使用arptables工具
arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
在RS上修改内核参数以限制arp通告及应答级别
/proc/sys/net/ipv4/conf/all/arp_ignore /proc/sys/net/ipv4/conf/all/arp_announce

15、LVS-DR模式
（2）RS的RIP可以使用私网地址，也可以是公网地址；RIP与 DIP在同一IP网络；RIP的网
关不能指向DIP，以确保响应报文不会经由Director
（3）RS和Director要在同一个物理网络
（4）请求报文要经由Director，但响应报文不经由Director， 而由RS直接发往Client
（5）不支持端口映射（端口不能修败）
（6）RS可使用大多数OS系统

16、VS/DR体系结构

注意：响应包数据大，响应包不走vs服务器，压力大减；

注意：RS上相同的vip避免冲突基于内核实现ARP协议的屏蔽；ARP是在机器的网络重启时
自动发送广播，询问谁在使用本ip，没人回应就宣布此ip和mac为本机器使用；交换机是基
于mac地址进行转发的；源mac地址每经过路由器就会变；rs和vs服务器之间不能加路由
器，物理上要在一个网段，因为是基于mac地址转发的；逻辑上为了安全，rs和vs必须不在
一个网段，可以在交换机出去后通过另一个路由器返回；MACVS地址获取是通过广播或直
接将ip和mac绑定到路由器上，前者更加适合；

17、DR模式IP包调度过程

18、DR模式

注意：请求数据包每经过一个路由器mac地址就会发生变化；
注意：VIP-MAC地址必须是从最后一个路由器出来后的目标地址，此图有误
19、lvs-tun模式
lvs-tun：
转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为 VIP），而在原IP报文之外再封
装一个IP首部（源IP是DIP，目 标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给
客户端（源IP是VIP，目标IP是CIP）
(1) DIP, VIP, RIP都应该是公网地址
(2) RS的网关一般不能指向DIP
(3) 请求报文要经由Director，但响应不能经由Director
(4) 不支持端口映射
(5) RS的OS须支持隧道功能 两个ip报文头的接收

20、VS/TUN体系结构

21、TUN模式IP包调度过程

22、lvs-fullnat模式
lvs-fullnat：通过同时修改请求报文的源IP地址和目标IP地 址进行转发
CIP --> DIP
VIP --> RIP
(1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关
一般不会指向DIP
(2) RS收到的请求报文源地址是DIP，因此，只需响应给 DIP；但Director还要将其发往
Client
(3) 请求和响应报文都经由Director
(4) 支持端口映射
注意：此类型kernel默认不支持，需要对内核做二次开发

23、LVS工作模式总结

lvs-nat与lvs-fullnat：请求和响应报文都经由Director
lvs-nat：RIP的网关要指向DIP
lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信
lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client
lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发
lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

24、ipvs scheduler
ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态
两种：静态方法和动态方法
静态方法：仅根据算法本身进行调度
1、RR：roundrobin，轮询 一轮一轮循环的来
2、WRR：Weighted RR，加权轮询 按性能进行比例调度
3、SH：Source Hashing，实现session sticky，源IP地址 hash；将来自于同一个
IP地址的请求始终发往第一次挑中的 RS，从而实现会话绑定；但是源ip可能经过了
snat的转换，造成负载过大；
4、DH：Destination Hashing；目标地址哈希，将发往同一 个目标地址的请求始终
转发至第一次挑中的RS，典型使用场景 是正向代理缓存场景中的负载均衡，如：
宽带运营商；
注意：面试题
25、ipvs scheduler
动态方法：主要根据每RS当前的负载状态及调度算法进行调度
Overhead=value 较小的RS将被调度
1、LC：least connections 适用于长连接应用
Overhead=activeconns256+inactiveconns
2、WLC：Weighted LC，默认调度方法
Overhead=(activeconns256+inactiveconns)/weight 连接为0时，随机进行
3、SED：Shortest Expection Delay,初始连接高权重优先
Overhead=(activeconns+1)*256/weight
4、NQ：Never Queue，第一轮均匀分配，后续SED避免根据权重第一轮只到一台服务
器上；
5、LBLC：Locality-Based LC，动态的DH算法，使用场景： 根据负载状态实现正向代
理；避免了新的连接资源放到随机缓存服务器上，而是考虑负载情况；
6、LBLCR：LBLC with Replication，带复制功能的LBLC 解决LBLC负载不均衡问题，
从负载重的复制到负载轻的RS；避免了旧的连接一直往一台服务器上调度；
注意：面试题
26、ipvs
ipvsadm/ipvs：
ipvs：
grep -i -C 10 "ipvs" /boot/config-VERSIONRELEASE.x86_64
支持的协议：TCP， UDP， AH， ESP， AH_ESP, SCTP
ipvs集群：
管理集群服务
管理服务上的RS

27、ipvsadm包构成
ipvsadm：
程序包：ipvsadm
Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config

28、ipvsadm命令
ipvsadm命令：
核心功能：
集群服务管理：增、删、改
集群服务的RS管理：增、删、改
查看
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe
persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address 删除
ipvsadm –C 清空
ipvsadm –R 重载
ipvsadm -S [-n] 保存
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]

29、ipvsadm命令
管理集群服务：增、改、删
增、改：
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
删除：
ipvsadm -D -t|u|f service-address
service-address：
-t|u|f：
-t: TCP协议的端口，VIP:TCP_PORT
-u: UDP协议的端口，VIP:UDP_PORT
-f：firewall MARK，标记，一个数字
[-s scheduler]：指定集群的调度算法，默认为wlc

30、ipvsadm命令
管理集群上的RS：增、改、删
增、改：ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
删：ipvsadm -d -t|u|f service-address -r serveraddress
server-address：
rip[:port] 如省略port，不作端口映射
选项：
lvs类型：
-g: gateway, dr类型，默认
-i: ipip, tun类型
-m: masquerade, nat类型
-w weight：权重
实验：实现lvs-nat模式的前端调度到后端服务器
（1）客户端A机器 centos6 公网ip为192.168.42.50，无私网
在虚拟机设置关闭内网，进行外网测试
hostname client
vim /etc/sysconfig/network-scripts/ifcfg-eth1
GATEWAY=192.168.42.60
service network restart
route del -net 172.18.0.0 netmask 255.255.0.0
初步测试：
ping 172.18.62.60
ping 172.18.62.61
ping 172.18.62.62
curl 172.18.62.60
curl 172.18.62.61
curl 172.18.62.62
（2）VS调度B机器 centos7 公网ip为192.168.42.60，私网ip为172.18.62.60
开启chronyd服务保证vs和所有rs时间同步：
yum install chrony
vim /etc/chrony.conf
server s1a.time.edu.cn iburst 一开启就从服务器同步数据
allow 172.18.0.0/16 允许其他服务器从此同步时间
local stratum 10 即使本服务器从互联网同步时间失败其他服务器也可从此
服务器进行同步数据；
systemctl start chronyd 启动服务

hostnamectl set-hostname lvs
vim /etc/sysctl.conf
net.ipv4.ip_forward=1
sysctl -p 生效
sysctl -a|grep forward 查看是否生效
yum install ipvsadm
ipvsadm -A -t 192.168.42.60:80 -s rr 设置调度算法，指定调度机器
ipvsadm -a -t 192.168.42.60:80 -r 172.18.62.61 -m 指定调度到哪台机器
ipvsadm -a -t 192.168.42.60:80 -r 172.18.62.62 -m 指定调度到哪台机器
ipvsadm -ln 查看调度设置
ipvsadm -E -t 192.168.42.60:80 -s wrr 更改调度算法为加权轮询
ipvsadm -e -t 192.168.42.60:80 -r 172.18.62.62 -w 3 -m 设置权数
ipvsadm -ln 查看调度更改

补充：如果是https访问，那么采用以下设置 用两套调用策略完成的，以后学用一套的
ipvsadm -A -t 192.168.42.60:80 -s rr 设置调度算法，指定调度机器
ipvsadm -a -t 192.168.42.60:80 -r 172.18.62.61 -m 指定调度到哪台机器
ipvsadm -a -t 192.168.42.60:80 -r 172.18.62.62 -m 指定调度到哪台机器

yum install mod_ssl
cat /etc/httpd/conf.d/ssl.conf 查看ssl证书配置
systemctl restart httpd 重启服务开启443端口
ipvsadm -A -t 192.168.42.60:443 -s rr 设置调度算法，指定调度机器
ipvsadm -a -t 192.168.42.60:443 -r 172.18.62.61 -m 指定调度到哪台机器
ipvsadm -a -t 192.168.42.60:443 -r 172.18.62.62 -m 指定调度到哪台机器

测试：
for i in {1..100};do curl -k https://192.168.42.60/; done
for i in {1..100};do curl https://192.168.42.60/; done
（3）RS服务器C centos7 私网ip为172.18.62.61，无公网
开启chronyd服务保证vs和所有rs时间同步：
yum install chrony
server 172.18.62.60 iburst 一开启就从服务器同步数据
systemctl start chronyd 启动服务
在虚拟机设置中关闭公网
hostnamectl set-hostname rs1
nmcli connection show
nmcli connection modify ens33 ipv4.gateway 172.18.62.60 设置网关，此命令实际上
是改了文件；
nmcli connection up ens33 使得更改生效
yum install httpd -y 安装httpd服务
echo rs1 > /var/www/html/index.html
systemctl start httpd
tail /var/log/httpd/access_log -f 监控访问httpd服务的ip来源

（4）RS服务器D centos7 私网ip为172.18.62.62，无公网
开启chronyd服务保证vs和所有rs时间同步：
yum install chrony
server 172.18.62.60 iburst 一开启就从服务器同步数据
systemctl start chronyd 启动服务
在虚拟机设置中关闭公网
hostnamectl set-hostname rs2
nmcli connection show
nmcli connection modify eth1 ipv4.gateway 172.18.62.60
nmcli connection up eth1
route -n
yum install httpd
echo rs2 > /var/www/html/index.html
systemctl start httpd
tail /var/log/httpd/access_log -f 监控访问httpd服务的ip来源
注意：
lvs无健康检查功能，即使服务出问题也会继续调度
lvs_nat模式支持端口转发，在rs修改httpd端口，然后调度策略写明真正端口

实验指导图
31、ipvsadm命令
清空定义的所有内容：ipvsadm –C
清空计数器：ipvsadm -Z [-t|u|f service-address]
查看：ipvsadm -L|l [options]
--numeric, -n：以数字形式输出地址和端口号
--exact：扩展信息，精确值
--connection，-c：当前IPVS连接输出
--stats：统计信息
--rate ：输出速率信息
ipvs规则： /proc/net/ip_vs
ipvs连接：/proc/net/ip_vs_conn
httpd自动压力测试工具：ab -c 100 -n 1000000 http://192.168.42.60/index.html，需要安装
apache才带，单独安装比较麻烦；
telnet 192.168.42.60 80 可以测试长连接
32、保存及重载规则
保存：建议保存至/etc/sysconfig/ipvsadm
ipvsadm-save -n > /PATH/TO/IPVSADM_FILE
ipvsadm -S > /PATH/TO/IPVSADM_FILE
systemctl stop ipvsadm.service
重载：
ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
ipvsadm -R < /PATH/FROM/IPVSADM_FILE
systemctl restart ipvsadm.service

33、LVS
负载均衡集群设计时要注意的问题
(1) 是否需要会话保持
(2) 是否需要共享存储
共享存储：NAS， SAN， DS（分布式存储）
数据同步：
lvs-nat：
设计要点：
(1) RIP与DIP在同一IP网络, RIP的网关要指向DIP
(2) 支持端口映射
(3) Director要打开核心转发功能
注意：参与集群的机器时间要准确
34、作业
NAT模型实现http负载均衡集群
NAT模型实现https负载均衡集群
注意：RS: 都要提供同一个私钥和同一个证书

35、LVS-DR
DR模型中各主机上均需要配置VIP，解决地址冲突的方式有三种：
(1) 在前端网关做静态绑定
(2) 在各RS使用arptables
(3) 在各RS修改内核参数，来限制arp响应和通告的级别
限制响应级别：arp_ignore
0：默认值，表示可使用本地任意接口上配置的任意地址进行响应
1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时 ，才给予响应
限制通告级别：arp_announce
0：默认值，把本机所有接口的所有信息向每个接口的网络进行通告
1：尽量避免将接口信息向非直接连接网络进行通告
2：必须避免将接口信息向非本网络进行通告

36、RS的预配置脚本
#!/bin/bash
vip=10.0.0.200
mask=‘255.0.0.0‘
dev=lo:1
case $1 in
start)
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
ifconfig $dev $vip netmask $mask broadcast $vip up
#route add -host $vip dev $dev
;;
stop)
ifconfig $dev down
echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
;;
*)
echo "Usage: $(basename $0) start|stop"
exit 1
;;
esac

37、VS的配置脚本
#!/bin/bash
vip=‘10.0.0.200‘
iface=‘ens33:1‘
mask=‘255.0.0.0‘
port=‘80‘
rs1=‘172.18.62.61‘
rs2=‘172.18.62.62‘
scheduler=‘wrr‘
type=‘-g‘
case $1 in
start)
ifconfig $iface $vip netmask $mask broadcast $vip up
iptables - F
ipvsadm -A -t ${vip}:${port} -s $scheduler
ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
;;
stop)
ipvsadm - C
ifconfig $iface down
;;
*)
echo "Usage $(basename $0) start|stop“
exit 1
;;
esac

38、作业
实现NAT模式
网络拓扑要求：VIP与DIP/RIP不在同一网络
DR模型实现http负载均衡集群
DR模型实现https负载均衡集群
注意：RS: 都要提供同一个私钥和同一个证书
DR模型实现mysql负载均衡集群
实验：
（1）客户端A机器 外网ip为192.168.42.60，无内网ip
hostname client
在虚拟机设置中将此机器的内网ens33关掉
nmcli connection modify ens37 ipv4.addresses 192.168.42.60/24 ipv4.gateway
192.168.42.50 ipv4.method manual 设置此机器的外网ip，并将网关指向路由器
nmcli connection up ens37 使得网卡设置生效
route -n 查看路由表
route del -net 172.18.0.0 netmask 255.255.0.0 删除多余的内网路由
curl 10.0.0.200 进行测试访问
（2）路由器B机器 内网ip为172.18.62.50和10.0.0.100 外网ip为192.168.42.50
hostname router
虚拟机设置中保留2个网卡在线
cp ifcfg-eth0 ifcfg-eth0:1
vim ifcfg-eth0:1
IPADDR=10.0.0.100
NETMASK=255.0.0.0 路由不需要设网关
service NetworkManager stop
systemctl restart network
vim /etc/sysctl.conf 设置转发机制
net.ipv4.ip_forward = 1
sysctl -p 使得设置生效
sysctl -a|grep forward 查看转发机制设置是否生效
route del defalut gw 192.168.42.60 删除不需要的网络路由
（3）RS1 C机器 内网ip172.18.62.61，无外网ip
hostname rs1
在虚拟机中设置将外网网卡关闭
route del default gw 192.168.42.129 删除多余的网关
vim /etc/sysconfig/network-scripts/ifcfg-ens33
GATEWAY=172.18.62.50 设置网关指向路由器
systemctl restart network
vim lvs_dr_rs.sh 编写配置脚本，以设置VIP，并解决VIP冲突问题
#!/bin/bash
vip=10.0.0.200
mask=‘255.0.0.0‘
dev=lo:1
case $1 in
start)
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
ifconfig $dev $vip netmask $mask broadcast $vip up
#route add -host $vip dev $dev
;;
stop) 在执行脚本时加上可以清清除之前的start操作
ifconfig $dev down
echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
;;
*)
echo "Usage: $(basename $0) start|stop"
exit 1
;;
esac
scp lvs_dr_rs.sh 172.18.62.62： 复制脚本到rs2上执行
bash lvs_dr_rs.sh start 执行脚本中的start部分代码
（4）RS2 D机器
hostname rs2
在虚拟机中设置将外网网卡关闭
vim /etc/sysconfig/network-scripts/ifcfg-ens33
GATEWAY=172.18.62.50 设置网关指向路由器
route del default gw 192.168.42.1 删除无效网关
bash lvs_dr_rs.sh start 执行脚本start部分代码

（5）VS E机器
hostname vs
在虚拟机中设置将外网网卡关闭
vim /etc/sysconfig/network-scripts/ifcfg-ens33
GATEWAY=172.18.62.50 设置网关指向路由器 一定要设置
vim lvs_dr_vs.sh 写脚本，完成网卡ens33的子接口网络设置并设置调用策略
#!/bin/bash
vip=‘10.0.0.200‘
iface=‘ens33:1‘
mask=‘255.0.0.0‘
port=‘80‘
rs1=‘172.18.62.61‘
rs2=‘172.18.62.62‘
scheduler=‘wrr‘
type=‘-g‘
case $1 in
start)
ifconfig $iface $vip netmask $mask broadcast $vip up
iptables - F
ipvsadm -A -t ${vip}:${port} -s $scheduler
ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
;;
stop)
ipvsadm - C
ifconfig $iface down
;;
*)
echo "Usage $(basename $0) start|stop“
exit 1
;;
esac
bash lvs_dr_vs.sh start 执行脚本start部分代码
补充1：实现https和http的调度，是一套调度策略实现，而不是上一个实现的两个
在（5）中执行如下命令：
iptables -t mangle -A PREROUTING -d 10.0.0.200 -p tcp -m multiport --dports
80,443 -j MARK --set-mark 10 打标记
iptables -vnL -t mangle 查看设置的标记
ipvsadm -A -f 10 -s rr 设置基于标记的集群
ipvsadm -a -f 10 -r 172.18.62.61 -g
ipvsadm -a -f 10 -r 172.18.62.62 -g
在（1）测试：
for i in {1..100}；do sleep 0.5；curl http://10.0.0.200；curl -k
https://10.0.0.200；done 执行此循环进行测试轮询
注意：在VS服务器上必须设定网关，但可以不指向路由器，因为包不回去；由于VIP和
所有设备都不在一个网段，因此出不来，只需要指定网关让它出来就可以了；
如route add default dev ens33 直接设置出口就行
39、FireWall Mark
FWM：FireWall Mark
MARK target 可用于给特定的报文打标记
--set-mark value
其中：value 为十六进制数字
借助于防火墙标记来分类报文，而后基于标记定义集群服务； 可将多个不同的应用使用同一
个集群服务进行调度；
实现方法：
在Director主机打标记：
iptables -t mangle -A PREROUTING -d $vip -p $proto –m multiport --dports
$port1,$port2,… -j MARK --set-mark NUMBER
在Director主机基于标记定义集群服务：
ipvsadm -A -f NUMBER [options]

40、持久连接
session 绑定：对共享同一组RS的多个集群服务，需要统一进行绑定，lvs sh算法无法实现
持久连接（ lvs persistence ）模板：实现无论使用任何调度算法， 在一段时间内（默认
360s ），能够实现将来自同一个地址的请求始终发往同一个RS
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
持久连接实现方式：
每端口持久（PPC）：每个端口对应定义为一个集群服务，每集群服务单独调度
每防火墙标记持久（PFWMC）：基于防火墙标记定义集群服务； 可实现将多个端口上
的应用统一调度，即所谓的port Affinity
每客户端持久（PCC）：基于0端口（表示所有服务）定义集群服务，即将客户端对所
有应用的请求都调度至后端主机，必须定义为持久模式
实验：实践持久连接的3种方式 默认持久连接是6分钟
（1）每端口持久
在调度器上实现如下策略调度：
ipvsadm -A -t 10.0.0.200:80 -s rr -p
ipvsadm -a -t 10.0.0.200:80 -r 172.18.62.61 -g
ipvsadm -a -t 10.0.0.200:80 -r 172.18.62.62 -g
（2）每防火墙标记持久
在上一个DR实验的补充的基础上，直接在调度器修改如下策略：
ipvsadm -E -f 10 -s rr -p
（3）每客户端持久
ipvsadm -A -t 10.0.0.200:0 -s rr -p
ipvsadm -a -t 10.0.0.200:0 -r 172.18.62.61 -g
ipvsadm -a -t 10.0.0.200:0 -r 172.18.62.62 -g
注意：每实现一种就在客户端进行测试
41、LVS高可用性
1 Director不可用，整个系统将不可用；SPoF Single Point of Failure
解决方案：高可用
keepalived（轻量级） heartbeat/corosync（重量级）
2 某RS不可用时，Director依然会调度请求至此RS
解决方案： 由Director对各RS健康状态进行检查，失败时禁用，成功时启用
keepalived heartbeat/corosync ldirectord 也可自己写脚本实现
检测方式：
(a) 网络层检测，icmp
(b) 传输层检测，端口探测
(c) 应用层检测，请求某关键资源
RS全不用时：backup server, sorry server
实验：ldirectord实现LVS中的RS的高可用性
在vs服务器中实现以下配置：
yum install ldirectord-3.9.6-0rc1.1.2.x86_64.rpm 安装ldirectord软件
rpm -ql ldirectord 查看此软件都有哪些文件
cp /usr/share/doc/ldirectord-3.9.6/ldirectord.cf /etc/ha.d/ 拷贝配置模板
ipvsadm -C 清除调度策略，因为ldirectord软件会根据配置自动生成策略
vim /etc/ha.d/ldirectord.cf 配置文件
checktimeout=3
checkinterval=1
fallback=127.0.0.1:80
autoreload=yes 由于有此项，第一次启动后再次更改配置文件，不用重新
启动；
logfile="/var/log/ldirectord.log"
quiescent=no
virtual=10.0.0.20:80
real=172.18.62.61:80 gate 3
real=172.18.62.62:80 gate 1
service=http
scheduler=wrr
persistent=600
checktype=negotiate
checkport=80
request="test.html"
receive="test"
systemctl start ldirectord 只需启动一次即可
补充：如果要实现http和https的统一调度，只需要如下配置
vs中加如下防火墙规则：
iptables -t mangle -A PREROUTING -d 10.0.0.200 -p tcp -m multiport --dports
80,443 -j MARK --set-mark 10；
vim /etc/ha.d/ldirectord.cf
checktimeout=3
checkinterval=1
fallback=127.0.0.1:80
autoreload=yes 由于有此项，第一次启动后再次更改配置文件，不用重新
启动；
logfile="/var/log/ldirectord.log"
quiescent=no
virtual=10 标记
real=172.18.62.61 gate 3
real=172.18.62.62 gate 1
service=http
scheduler=wrr
persistent=600
checktype=negotiate
checkport=80
request="test.html"
receive="test"
在客户端机器上测试：for i in {1..100};do sleep 0.5;curl -k https://10.0.0.200;curl
10.0.0.200;done；
注意在2个RS服务器上必须加上httpd的测试页面
为了安全，防止不是访问httpd服务的通过路由器进入内网，设置如下防火墙策略：
iptables -A FORWARD -p tcp -m multiport --dports 80,443 -j ACCEPT
iptables -I FORWARD 1 -p tcp -m state --state ESTABLISHED,RELATED -j
ACCEPT；
iptables -A FORWARD -j REJECT
注意：ldirectord软件既可以进行健康性检查与处理，又可以生成调度策略；健康性检查
是基于对服务中的测试页面test.html进行检查，能够返回正确的字符串test就正常，1秒
进行一次检查，每次检查等待3秒；一旦某个机器服务不正常了调度策略就会发生改
变。都不正常就会调度备用的道歉页面；
42、ldirectord
ldirectord：监控和控制LVS守护进程，可管理LVS规则
包名：ldirectord-3.9.6-0rc1.1.1.x86_64.rpm
文件：
/etc/ha.d/ldirectord.cf 主配置文件
/usr/share/doc/ldirectord-3.9.6/ldirectord.cf 配置模版
/usr/lib/systemd/system/ldirectord.service 服务
/usr/sbin/ldirectord 主程序
/var/log/ldirectord.log 日志
/var/run/ldirectord.ldirectord.pid pid文件

43、Ldirectord配置文件示例
checktimeout=3
checkinterval=1
autoreload=yes
logfile=“/var/log/ldirectord.log“ #日志文件
quiescent=no #down时yes权重为0，no为删除
virtual=5 #指定VS的FWM或IP：port
real=172.16.0.7:80 gate 2
real=172.16.0.8:80 gate 1
fallback=127.0.0.1:80 gate #sorry server
service=http
scheduler=wrr
checktype=negotiate
checkport=80
request="index.html"
receive=“Test Ldirectord"