LVS负载均衡介绍和配置

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了LVS负载均衡介绍和配置相关的知识,希望对你有一定的参考价值。

负载均衡群集介绍? ??

开源的负载均衡软件LVS、keepalived、haproxy和nginx
keepalived除了可以实现高可用外,也可以拿来做负载均衡功能
LVS是基于4层负载均衡,网络OSI7层模型中的第四层。nginx属于第七层,haproxy既可以在4层工作,也可以在7层工作
lvs支持tcp数据转发,除了实现80的web端口转发外,也支持其他端口数据通信转发的,lvs只做协议上的通信端口数据转发,对数据内容不做监听:如域名头、主机报文头部信息
nginx只支持http、https、mail的转发,nginx可以针对网站的目录进行负载均衡,nginx在7层可以对后端区分目录,针对不同的网站目录来解析到不同的主机,haproxy也支持mysql负载均衡
比较lvs和nginx来说,lvs这种负载均衡在转发4层协议数据上更加稳定,能够处理更多的数据请求,而nginx这种负载均衡的方式更加灵活,可以针对不同级别的域名访问分配到不同的主机以及目录上,能够实现更多特定的需求

LVS介绍

LVS有三种常见模式:NAT、DR和IP Tunnel模式
LVS中有一个核心角色叫做分发器(Load balance),主要用于分发用户请求,还有诸多用户请求的服务器(Real Server,简称RS)

LVS-NAT模式:
LVS-nat模式借助iptables规则来实现,用户请求到达分发器后,通过预设的iptables规则,会把数据转发到后端的RS上去
rs需要设定网关为分发器的内网ip,用户请求和返回的数据包全部经过分发器,所以这里的分发器会造成一个瓶颈
在nat模式中,只需要分发器拥有公网ip即可,所以比较节省公网ip资源
但是这种模式不能承受较大的请求量,访问量较大的请求可能会无法正常处理,因为数据接收和发送到客户端都需要经过Load balance。因此LB角色的服务器处理请求的压力很大

技术分享图片
LVS IP Tunnel模式
需要有一个公共ip配置在分发器和所有rs角色上,公用的ip称做为VIP
客户端请求目标IP为vip,分发器接收请求数据包后,会对数据包的ip报头进行再次封装,会把目标ip的报头外再加上一层rs的ip报头(根据算法来选择封装成的rs的IP报头),这样用户请求的数据包就会被发送到rs角色上
rs接收数据包后,会解包数据包,所有报头解开后,原始IP报头为VIP,因为所有的rs上都配置有VIP,所以tcp协议会认为数据传输正确,然后交给rs处理。而每个rs又都配有公网ip,当数据请求完成后,rs会直接通过自己的IP+封装VIP报头把数据直接返回给客户端,这样数据返回给客户端时不需要经过Load Balancer了,减小了分发器的处理压力
技术分享图片

LVS DR模式
需要一个公共公用的IP设置为VIP,同样所有的rs上都配置这个VIP
和IP Tunnel不同的是,它会把数据包的MAC地址修改为RS的MAC地址,rs接收到数据包后,会处理数据包,解析出原始的ip报头得出原始的IP,因为rs上配置了这个VIP,所以rs会处理该数据包的请求
技术分享图片

LVS算法

轮询分发 ?Round-Robin ?rr
加权轮询 Weight Round-Robin wrr
最小链接 Least-Connection lc
加权最小链接 Weight?Least-Connection wlc
基于局部性的最小连接 ?Locality-Based Least Connection lblc
带复制的基于局部性最小链接 Locality-Based Least Connection with Replication lblcr
目标地址散列调度 Destination Hashing dh
原地址散列调度 Source Hashing ?sh
最常用的是前面四种,根据服务器实际情况,加权分配可以对配置高处理请求能力强的服务器分配更多的请求数,这样可以充分利用服务器的资源,避免资源空闲

LVS NAT模式

分发器内网:192.168.1.220 ?外网192.168.182.130 ?
rs1内网192.168.1.223
rs2内网192.168.1.234
rs角色设置网卡的网关为192.168.1.220,用于NAT内网通信
所有角色上执行关闭防火墙规则,并保存配置的操作,防止因防火墙规则造成的无法访问站点的问题

[[email protected] ~]# systemctl stop firewalld
[[email protected] ~]# systemctl disable firewalld
[[email protected] ~]# systemctl start iptables
[[email protected] ~]# iptables -F
[[email protected] ~]# service iptables save
iptables: Saving firewall rules to /etc/sysconfig/iptables:[ 确定 ]

在分发器dir上安装ipvsadm

[email protected] ~]# yum install -y ipvsadm
已加载插件:fastestmirror
Loading mirror speeds from cached hostfile
base | 3.6 kB 00:00:00 ? ? 
epel | 3.2 kB 00:00:00 ? ? 
extras ? ? ? 
-----------------省略
Downloading packages:
ipvsadm-1.27-7.el7.x86_64.rpm | 45 kB 00:00:00 ? ? 
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  正在安装 : ipvsadm-1.27-7.el7.x86_64 1/1 
  验证中 : ipvsadm-1.27-7.el7.x86_64 1/1 

已安装:
  ipvsadm.x86_64 0:1.27-7.el7 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

完毕!

在dir分发器上编写路由转发的内核配置和iptables配置,内核开启路由转发需要指定对应的网卡,这里需要注意服务器实际的网卡名称

#! /bin/bash
#在系统内核配置中开启路由转发,转发需要注意自己服务器真实网卡名称
echo 1 > /proc/sys/net/ipv4/ip_forward 
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens36/send_redirects
#清空iptables规则,并配置nat表在POSTROUTING链中对192.168.1.0网段进行数据包的转发
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.1.0/24 -j MASQUERADE ?
#配置ipvsadm,这里设置的是加权最少链接轮询的方式。ipvsadm配置指定dir外网ip对应内网的rs角色ip,-w并指定被轮询的次数
IPVSADM=‘/usr/sbin/ipvsadm‘
$IPVSADM -C 
$IPVSADM -A -t 192.168.182.130:80 -s wlc -p 3
$IPVSADM -a -t 192.168.182.130:80 -r 192.168.1.223:80 -m -w 1
$IPVSADM -a -t 192.168.182.130:80 -r 192.168.1.234:80 -m -w 1

查看ipvsadm的轮询配置

[[email protected] src]# ipvsadm -l
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
 ?-> RemoteAddress:Port ? ? ? ? ? Forward Weight ActiveConn InActConn
TCP ?192.168.182.130:http wlc persistent 3
 ?-> 192.168.1.223:http ? ? ? ? ? Masq ? ?1 ? ? ?0 ? ? ? ? ?0 ? ? ? ? 
 ?-> 192.168.1.234:http ? ? ? ? ? Masq ? ?1 ? ? ?0 ? ? ? ? ?0 ? ?

在rs上将网卡的网关设置为dir的内网ip,这样就能让iptables规则从192.168.249.129把访问请求转发给192.168.1.0网段的80服务器端口
如rs1的修改操作

[[email protected] ~]# vim /etc/sysconfig/network-scripts/ifcfg-enp0s3 
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
NAME=enp0s3
UUID=bf8adc16-a9c3-494a-b47e-f572fad38639
DEVICE=enp0s3
ONBOOT=yes
IPADDR=192.168.1.234
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=192.168.1.220
DNS2=119.29.29.29

rs的网关设置为dir的ip后,rs不能够链接外部网络了,需要配置iptables转发规则,对内网数据进行转发,dir分发器对内网的数据进行转发处理。处理完的数据发送给dir分发器,再由分发器返回给用户端进行响应

访问测试

先在dir上对后端的两台web服务进行测试访问,dir到后端web是属于一个网段的,这里必须要保证dir到web之间的链路要通信正常

[[email protected] src]# curl -I 192.168.1.223
HTTP/1.1 200 OK
Server: nginx/1.12.2
Date: Sun, 09 Sep 2018 02:52:48 GMT
Content-Type: text/html
Content-Length: 3700
Last-Modified: Tue, 06 Mar 2018 09:26:21 GMT
Connection: keep-alive
ETag: "5a9e5ebd-e74"
Accept-Ranges: bytes
?
[[email protected] src]# curl -I 192.168.1.234
HTTP/1.1 200 OK
Server: nginx/1.12.2
Date: Sun, 09 Sep 2018 10:53:10 GMT
Content-Type: text/html
Content-Length: 3700
Last-Modified: Tue, 06 Mar 2018 09:26:21 GMT
Connection: keep-alive
ETag: "5a9e5ebd-e74"
Accept-Ranges: bytes

dir到web间的网络正常后,再测试ipvsadm的负载均衡转发,这里需要保证dir测试的机器和客户端间是可以访问的,可以在浏览器中访问,为了区分负载均衡,这里将1.223和1.234写入不同的网页显示内容,方便区分

[[email protected] src]# curl 192.168.182.130
host2
[[email protected] src]# curl 192.168.182.130
host1
[[email protected] src]# curl 192.168.182.130
host2
[[email protected] src]# curl 192.168.182.130
host1

测试时ipvsadm的-p选项是指定多长时间内同一用户访问分配到同一台服务器进行处理,测试时去掉-p参数,也就是让访问不同web服务器的时候没有等待时间及缓存

以上是关于LVS负载均衡介绍和配置的主要内容,如果未能解决你的问题,请参考以下文章

LVS负载均衡之LVS-NAT实例部署(配置篇)

LVS负载均衡简单配置

使用LVS实现负载均衡原理及安装配置详解

使用LVS实现负载均衡原理及安装配置详解

使用 LVS 实现负载均衡原理及安装配置详解

使用LVS实现负载均衡原理及安装配置详解