基于LVS负载均衡的小米网站的实现

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基于LVS负载均衡的小米网站的实现相关的知识,希望对你有一定的参考价值。

   首先来了解一下什么是LVS?LVSLinux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。其宗旨:

   使用集群技术和Linux操作系统实现一个高性能、高可用的服务器.

   很好的可伸缩性(Scalability)

   很好的可靠性(Reliability)

   很好的可管理性(Manageability)。

   LVS有四种模式:Virtual Server via NAT(VS-NAT)、Virtual Server via Direct Routing(VS-DR)、TUN和full-nat(双向转换),其中NAT和DR这两种模式是最常用的,所以本实验将基于NAT和DR两种模式来实现。接下来介绍一下这两种模式的工作原理和实现过程。

   LVS-NAT的工作原理:

   (a). 当用户请求到达Director Server,此时请求的数据报文会先到 内核空间的PREROUTING链。 此时报文的源IP为CIP,目标IP为 VIP 

   (b). PREROUTING检查发现数据包的目标IP是本机,将数据包送至 INPUT链 

   (c). IPVS比对数据包请求的服务是否为集群服务,若是,修改数据 包的目标IP地址为后端服务器IP,然后将数据包发至 POSTROUTING链。 此时报文的源IP为CIP,目标IP为RIP 

   (d). POSTROUTING链通过选路,将数据包发送给Real Server

   (e). Real Server比对发现目标为自己的IP,开始构建响应报文发回 给Director Server。 此时报文的源IP为RIP,目标IP为CIP 

   (f). Director Server在响应客户端前,此时会将源IP地址修改为自己的VIP地址,然后响应给客户端。 此时报文的源IP为VIP,目标IP为CIP

技术分享

    环境准备:一台centos系统做LV-Server、另外两台为实现过基于LNMP的小米网站。  

    安装步骤:

    1.yum install ipvsadm -y #在LVS-server安装lvs管理软件

    2、grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64,#查看内核是否支持 ipvs模块

    3、iptables -F && setenforing 清空防火墙策略,关闭selinux

机器名

Ip配置

服务角色

备注

Lvs-server

VIP:172.17.254.117

DIP:192.168.47.132

负载均衡器

开启路由功能

VIP桥接、DIP仅主机

Lnmp-server1

RIP:192.168.47.17

后端服务器

网关指向DIP(仅主机)

Lnmp-server2

RIP:172.168.47.107

后端服务器

网关指向DIP(仅主机)

    实现过程:

    (一)lvs-server的配置

    1、ipvsadm -A -t 172.17.254.132:80 -s wrr #开启一个基于80端口的虚拟服务,调度方式为wrr

    2、ipvsadm -a -t 172.17.254.132:80 -r 192.168.47.131:80 -m -w 1 #配置web服务后端real server 为nat工作方式 权重为1

    3、ipvsadm -a -t 172.16.254.132:80 -r 192.168.47.128:80 -m -w 1 #配置web服务后端real server 为nat工作方式 权重为1

    4、修改内核配置,开启路由转发

vim /etc/sysctl.conf 修改 net.ipv4.ip_forward=1 #sysctl -p 使其生效

    (二)Lnmp-server的配置

    配置网关指向192.168.47.132,开启web、php-fpm、mysql服务

    (三)测试效果

    1、首先在每个服务器上建立一个不同的内容,统一命名为index.html来测试负载均衡功能。

技术分享

    2、打开http://VIP/,并在director上用ipvsadm -L -n观察访问连接

技术分享

   

          LVS-DR的工作原理:

        (a) 当用户请求到达Director Server,此时请求的数据报文会先到内 核空间的PREROUTING链。 此时报文的源IP为CIP,目标IP为VIP 

        (b) PREROUTING检查发现数据包的目标IP是本机,将数据包送至 INPUT链

        (c) IPVS比对数据包请求的服务是否为集群服务,若是,将请求报文 中的源MAC地址修改为DIP的MAC地址,将目标MAC地址修改RIP 的MAC地址,然后将数据包发至POSTROUTING链。 此时的源IP和 目的IP均未修改,仅修改了源MAC地址为DIP的MAC地址,目标 MAC地址为RIP的MAC地址

        (d) 由于DS和RS在同一个网络中,所以是通过二层来传输。 POSTROUTING链检查目标MAC地址为RIP的MAC地址,那么此时 数据包将会发至Real Server。

         (e) RS发现请求报文的MAC地址是自己的MAC地址,就接收此报文 。处理完成之后,将响应报文通过lo接口传送给eth0网卡然后向外发 出。 此时的源IP地址为VIP,目标IP为CIP 

         (f) 响应报文最终送达至客户端

技术分享

     环境准备:一台centos系统做DR、另外两台为实现过基于LNMP的小米网站。

     安装步骤:

    1.yum install ipvsadm -y #在LVS-server安装lvs管理软件

    2、grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64,#查看内核是否支持 ipvs模块

    3、iptables -F && setenforing 清空防火墙策略,关闭selinux

机器名

Ip配置

服务角色

备注

Lvs-server

VIP:172.17.253.1

DIP:172.17.253.243

负载均衡器

开启路由功能

VIP桥接

Lnmp-server1

RIP:172.17.254.17

后端服务器

网关指向DIP(桥接)

Lnmp-server2

RIP:172.17.254.107

后端服务器

网关指向DIP(桥接)

    实现过程:

   (一)LVS-Server的配置

    1、配置VIP到本地网卡别名(本实验假设VIP地址为172.17.253.1

ifconfig eth1:0 172.17.253.1 broadcast 172.17.253.1 netmask 255.255.255.255#配置VIP到本地网卡eth1:0上,并只广播自己

route add -host 172.17.253.1 dev eth1:0#配置VIP路由

    2、ipvsadm -A -t 172.17.253.1:80 -s wrr#开启一个基于80端口的虚拟服务,调度方式为wrr

ipvsadm -a -t 172.17.253.1:80 -r 172.17.254.107:80 -g -w 1 #配置web服务后端real server 为DR工作方式 权重为1

ipvsadm -a -t 172.17.253.1:80 -r 172.17.254.17:80 -g -w  1#配置web服务后端real server 为DR工作方式 权重为1

    3、修改内核配置,开启路由转发

vim /etc/sysctl.conf 修改 net.ipv4.ip_forward=1 #sysctl -p 使其生效

(二)LNMP-Server的配置(注意:两台服务的配置一样)

    1、配置VIP到本地回环网卡lo上,并只广播自己

ifconfig lo:0 172.17.253.1 broadcast 172.17.253.1 netmask 255.255.255.255 up

配置本地回环网卡路由

route add -host 172.17.253.1 lo:0

    2、echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

 #1 只回答目标IP地址是来访网络接口本地地址的ARP查询请求

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

#2 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

 #关闭arp应答

1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时,才给予响应

2:必须避免将接口信息向非本网络进行通告

    3、开启web、php-fpm、mysql服务

systemctl restart php-fpm nginx mariadb

(三)测试效果

1、首先在每个服务器上建立一个不同的内容,统一命名为index.html来测试负载均衡功能。 技术分享     技术分享 

2、打开http://VIP/index.php并在director上用ipvsadm -L -n观察访问连接

技术分享


以上是关于基于LVS负载均衡的小米网站的实现的主要内容,如果未能解决你的问题,请参考以下文章

基于LVS负载均衡集群的小米电商网站架构-运维实战手记

项目实战02:LVS 实现负载均衡

实现基于LVS负载均衡集群的电商网站架构

项目实战2—LVS负载均衡

企业实战-实现基于LVS负载均衡集群的电商网站架构

基于lvs实现4层负载均衡