lvs集群原理及部署实例

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了lvs集群原理及部署实例相关的知识，希望对你有一定的参考价值。

LVS （linux virtual server）由章文嵩博士主导开发的开源负载均衡项目，本方案是基于IP数据请求负载均衡调度方案，用户请求发送给LVS调度器，调度器根据自己的调度算法分发请求到后端的web服务器。


LVS三种工作模式

1 基于NAT的负载均衡

NAT （network address translation）网络地址转换，其作用是用于修改报文头，使内部机器可以访问外网，外部也可以访问内部主机，该模式下的调度器使用两块网卡配置不同的ip地址，一个用于内部网络连接，一个用于外部网络连接。

负载均衡过程：

首先，用户通过访问域名，DNS解析到负载均衡器上的外网ip地址

接着，调度器根据预订的负载均衡算法，把请求分发到后端的真实服务器上，在转发之前，LVS需要修改请求报文中的目标地址和端口，也即是改为被选出的真实服务器的地址和端口

最后，真实服务器将响应的数据返回给LVS调度器，调度器在收到数据后将地址和端口改回自己的地址和端口，然后再把数据发送给客户端。LVS调度器有一个连接hash表，该表完整记录了所有的请求与转发信息，当同一个连接的下一个数据包发送给调度器时，从hash表中找到记录中的相同服务器和端口。


2 基于TUN的负载均衡

LVS的NAT模式下，所有的请求及数据都要经过LVS调度器，如果后端的web服务器多于10台，则调度器就会成为集群的瓶颈。TUN的思路是将请求与响应数据分离，让调度器处理请求，让真实服务器直接把数据发送给客户端。

IP隧道 IP tunning 是一种数据封装技术，将原始数据包封装并添加新的包头，从而实现实现将一个目标为调度器vip地址的数据包封装，并通过隧道转发给后端真实的服务器，真实服务器将数据直接发送给客户端。 这种模式要求每台机器都要有一个可以联通外网的ip，耗费较多的ip地址。ip隧道封装技术也有相应的资源消耗


3 基于DR的负载均衡 

DR模式也叫直接路由模式，这种模式要求调度器与后端服务器在同一个局域网内，VIP地址需要在两者中共享，真实服务器的vip地址必须配置在Non-ARP的网络设备上，也就是不对外广播自己的mac和ip地址。调度器在不修改数据报文的情况下，将数据帧的mac地址改为后端真实服务器的mac地址，真实服务器直接将数据返回给客户端


LVS负载均衡调度算法

轮询    rr

加权轮询   wrr

最小链接数 lc

加权最小链接数 wlc

目标地址散列 DH

源地址散列 SH

基于局部的最小链接调度 lblc



ipvsadm命令详解

ipvsadm的用法和格式如下：
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p [timeout]] [-M netmask]
ipvsadm -D -t|u|f virtual-service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h

命令选项解释：
有两种命令选项格式，长的和短的，具有相同的意思。在实际使用时，两种都可以。

-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。

-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。

-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。

-C --clear 清除内核虚拟服务器表中的所有记录。

-R --restore 恢复虚拟服务器规则

-S --save 保存虚拟服务器规则，输出为-R选项可读的格式

-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器

-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录

-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录

-L|-l --list 显示内核虚拟服务器表

-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）

--set tcp tcpfin udp 设置连接超时值

--start-daemon 启动同步守护进程。他后面可以是master或backup，用来说明LVS Router是master或是backup。在这个功能上也可以采用keepalived的VRRP功能。

--stop-daemon 停止同步守护进程

-h --help 显示帮助信息

其他的选项:
-t --tcp-service service-address 说明虚拟服务器提供的是tcp的服务[vip:port] or [real-server-ip:port]

-u --udp-service service-address 说明虚拟服务器提供的是udp的服务[vip:port] or [real-server-ip:port]

-f --fwmark-service fwmark 说明是经过iptables标记过的服务类型。

-s --scheduler scheduler 使用的调度算法，有这样几个选项rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
默认的调度算法是： wlc.

-p --persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理。timeout的默认值为300秒。

-M --netmask netmask persistent granularity mask

-r --real-server server-address 真实的服务器[Real-Server:port]

-g --gatewaying 指定LVS的工作模式为直接路由模式（也是LVS默认的模式）

-i --ipip 指定LVS的工作模式为隧道模式

-m --masquerading 指定LVS的工作模式为NAT模式

-w --weight weight 真实服务器的权值

--mcast-interface interface 指定组%B


实例1 基于NAT模式的负载均衡


服务器名称网络接口IP地址
  lvs.test.cometh1122.126.152.183
eth0192.168.1.2
web1.test.cometh0192.168.1.5
web2.test.cometh0192.168.1.6
web3.test.cometh0192.168.1.7


lvs调度器安装设置

首先设置2个网卡

vim /etc/sysconfig/network-script/ifcfg-eth0

DEVICE=eth0                            

BOOTPROTO=static       

TYPE=Ethernet

ONBOOT=yes  

HWADDR=00:07:E9:05:E8:B4    

IPADDR=192.168.1.2         

NETMASK=255.255.255.0         

GATEWAY=192.168.1.1                        

DNS1=8.8.8.8

vim /etc/sysconfig/network-script/ifcfg-eth1

DEVICE=eth1                           

BOOTPROTO=static       

TYPE=Ethernet

ONBOOT=yes  

HWADDR=00:07:E9:06:E9:B6   

IPADDR=122.126.152.183         

NETMASK=255.255.255.240        

GATEWAY= 122.126.152.1                       

DNS1=8.8.8.8

service network restart

安装ipvsadm

yum install ipvsadm -y

使用ipvsadm添加一组服务集群

ipvsadm -A -t 122.126.152.183:80 -s rr

ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.5:80 -m

ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.6:80 -m

ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.7:80 -m

service ipvsadm save

sed -i /ip_forward/s/0/1/ /etc/sysctl.conf #开启路由转发功能

sysctl -p

iptables -F

iptables -X

service iptables save

setenforce 0

sed -i s/enforcing/disabled/g /etc/sysconfig/selinux


后端真实服务器1.5 网路配置及服务安装

vim /etc/sysconfig/network-script/ifcfg-eth0

DEVICE=eth0                            

BOOTPROTO=static       

TYPE=Ethernet

ONBOOT=yes  

HWADDR=00:07:E9:05:E8:B4    

IPADDR=192.168.1.5         

NETMASK=255.255.255.0         

GATEWAY=192.168.1.1                        

DNS1=8.8.8.8


yum install -y httpd 

service httpd start

service network restart

echo "web1 192.168.1.5" > /var/www/html/index.html

iptables -F

iptables -X

service iptables save

setenforce 0

sed -i s/enforcing/disabled/g /etc/sysconfig/selinux


在服务器1.6 1.7 上执行同样操作，注意修改对应的ip参数


测试：

浏览器打开http://122.126.152.183 多次访问，得到不同访问内容表明成功。


实例2 基于DR模式的负载均衡

服务器名称网络接口IP地址
lvs.test.cometh1 VIP122.126.152.183
eth0192.168.1.2
web1.test.com
eth0192.168.1.5
lo:0 VIP122.126.152.183
web2.test.com
eth0192.168.1.6
lo:0 VIP122.126.152.183
web3.test.com
eth0192.168.1.7
lo:0 VIP122.126.152.183

lvs调度器网络配置与安装

vim /etc/sysconfig/network-script/ifcfg-eth1

DEVICE=eth1                           

BOOTPROTO=static       

TYPE=Ethernet

ONBOOT=yes  

HWADDR=00:07:E9:06:E9:B6   

IPADDR=122.126.152.183         

NETMASK=255.255.255.240        

GATEWAY=122.126.152.1                       

DNS1=8.8.8.8


vim /etc/sysconfig/network-script/ifcfg-eth1

DEVICE=eth1                           

BOOTPROTO=static       

TYPE=Ethernet

ONBOOT=yes  

HWADDR=00:07:E9:06:E9:B6   

IPADDR=122.126.152.183         

NETMASK=255.255.255.240        

GATEWAY= 122.126.152.1                       

DNS1=8.8.8.8


vim /etc/sysconfig/network-script/ifcfg-eth0

DEVICE=eth0                          

BOOTPROTO=static       

TYPE=Ethernet

ONBOOT=yes  

HWADDR=00:07:E7:06:E9:B2   

IPADDR=192.168.1.2         

NETMASK=255.255.255.0       

GATEWAY=192.168.1.1                      

DNS1=8.8.8.8


service network restart

安装ipvsadm

yum install ipvsadm -y

使用ipvsadm添加一组服务集群

ipvsadm -A -t 122.126.152.183:80 -s wrr

ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.5:80 -g -w 1

ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.6:80 -g -w 2

ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.7:80 -g -w 3

service ipvsadm save

sed -i /ip_forward/s/0/1/ /etc/sysctl.conf #开启路由转发功能

sysctl -p

iptables -F

iptables -X

service iptables save

setenforce 0

sed -i s/enforcing/disabled/g /etc/sysconfig/selinux


后端真实服务器1.5 网路配置及服务安装

vim /etc/sysconfig/network-script/ifcfg-eth0

DEVICE=eth0                            

BOOTPROTO=static       

TYPE=Ethernet

ONBOOT=yes  

HWADDR=00:07:E9:05:E8:B4    

IPADDR=192.168.1.5         

NETMASK=255.255.255.0         

GATEWAY=192.168.1.1                        

DNS1=8.8.8.8


vim /etc/sysconfig/network-script/ifcfg-lo:0

DEVICE=lo:0                            

BOOTPROTO=static       

TYPE=Ethernet

ONBOOT=yes  

HWADDR=00:07:E9:05:E8:B4    

IPADDR=122.126.152.183        

NETMASK=255.255.255.255        

GATEWAY=192.168.1.1                        

DNS1=8.8.8.8


禁止对VIP地址的ARP响应

vim /etc/sysctl.conf

net.ipv4.conf.eth0.arp_ignore = 1

net.ipv4.conf.eth0.arp_announce = 2

net.ipv4.conf.arp_ignore = 1

net.ipv4.conf.arp_announce = 2

... ...


yum install -y httpd 

service httpd start

service network restart

echo "web1 192.168.1.5" > /var/www/html/index.html

iptables -F

iptables -X

service iptables save

setenforce 0

sed -i s/enforcing/disabled/g /etc/sysconfig/selinux

在服务器1.6 1.7 上执行同样操作，注意修改对应的ip参数

测试：

浏览器打开http://122.126.152.183 多次访问，得到不同访问次数内容表明成功。






本文出自 “实用Linux知识技能分享” 博客，请务必保留此出处http://superleedo.blog.51cto.com/12164670/1894675

以上是关于lvs集群原理及部署实例的主要内容，如果未能解决你的问题，请参考以下文章

Lvs原理及简单实现

LVS负载均衡群集部署之——DR模式的介绍及搭建步骤

web相关学习

LVS原理详解（3种工作模式及8种调度算法）

LVS负载均衡群集部署——DR模式的介绍及搭建步骤

LVS集群--net模型DR模型实例演示及详解