Centos7搭建lvs+keepalive负载均衡集群

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Centos7搭建lvs+keepalive负载均衡集群相关的知识,希望对你有一定的参考价值。

keepalived简介

keepalived是分布式部署解决系统高可用的软件,结合lvs(LinuxVirtual Server)使用,解决单机宕机的问题。

keepalived是一个基于VRRP协议来实现IPVS的高可用的解决方案。对于LVS负载均衡来说,如果前端的调度器direct发生故障,则后端的realserver是无法接受请求并响应的。因此,保证前端direct的高可用性是非常关键的,否则后端的服务器是无法进行服务的。而我们的keepalived就可以用来解决单点故障(如LVS的前端direct故障)问题。keepalived的主要工作原理是:运行keepalived的两台服务器,其中一台为MASTER,另一台为BACKUP,正常情况下,所有的数据转换功能和ARP请求响应都是由MASTER完成的,一旦MASTER发生故障,则BACKUP会马上接管MASTER的工作,这种切换时非常迅速的。

LVS简介

LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统,LVS工作在ISO模型中的第四层,由于其工作在第四层,因此与iptables类似,必须工作在内核空间上。因此lvs与iptables一样,是直接工作在内核中的,叫ipvs,主流的linux发行版默认都已经集成了ipvs,因此用户只需安装一个管理工具ipvsadm即可。

IPVS中实现了三种负载均衡技术:

1、VS/NAT --- Virtual Server via Network Address Translation

通过网络地址转换,调度器重写请求报文的目标地址,根据预设的调度算法,将请求分派给后端真实服务器;真实服务器的响应报文通过调度器时,报文源地址被重写再返回给客户,完成整个负载调度过程。但通常在流量比较大的情况下会造成调度器的瓶颈。因为服务数据的返回必须通过调度器出去。

2、VS/TUN --- Virtual Server via IP Tunneling

采用NAT技术时,由于请求和响应报文都必须经过调度器地址重写,当客户请求越来越多时,调度器的处理能力将成为瓶颈。为了解决这个问题,调度器 把请求报文通过IP隧道转发至真实服务器,而真实服务器将响应直接返回给客户,所以调度器只处理请求报文。由于一般网络服务应答比请求报文大许多,采用 VS/TUN技术后,集群系统的最大吞吐量可以提高10倍。但是目前支持TUN 只有Linux系统

3、VS/DR --- Virtual Server via Direct Routing

VS/DR通过改写请求报文的MAC地址,将请求发送到真实服务器,而真实服务器将响应直接返回给客户。同VS/TUN技术一样,VS/DR技术 可极大地提高集群系统的伸缩性。这种方法没有IP隧道的开销,对集群中的真实服务器也没有必须支持IP隧道协议的要求,但是要求调度器与真实服务器都有一块网卡连在同一物理网段上。也就是说,在这种结构中,数据从外部到内部真实服务器的访问会通过调度器进来,但是真实服务器对其的应答不是通过调度器出去。 即在大多数情况下,真实服务器可以通过各自的网关或者专用的网关对数据进行外发,从而降低调度器负载。

LVS优点:

1、抗负载能力强

因为lvs工作方式的逻辑是非常之简单,而且工作在网络4层仅做请求分发之用,没有流量,所以在效率上基本不需要太过考虑。在我手里的 lvs,仅仅出过一次问题:在并发最高的一小段时间内均衡器出现丢包现象,据分析为网络问题,即网卡或linux2.4内核的承载能力已到上限,内存和 cpu方面基本无消耗。

2、配置性低

这通常是一大劣势,但同时也是一大优势,因为没有太多可配置的选项,所以除了增减服务器,并不需要经常去触碰它,大大减少了人为出错的几率。

3、工作稳定

因为其本身抗负载能力很强,所以稳定性高也是顺理成章,另外各种lvs都有完整的双机热备方案,所以一点不用担心均衡器本身会出什么问题,节点出现故障的话,lvs会自动判别,所以系统整体是非常稳定的。

4、无流量

上面已经有所提及了。lvs仅仅分发请求,而流量并不从它本身出去,所以可以利用它这点来做一些线路分流之用。没有流量同时也保住了均衡器的IO性能不会受到大流量的影响。

5、基本上能支持所有应用

因为lvs工作在4层,所以它可以对几乎所有应用做负载均衡,包括http、数据库、聊天室等等。

注:LVS需要手工动态增加命令,所以需要Keepalived来实现自动配合。

Lvs+keepalive负载均衡架构

技术分享图片

实验环境

系统版本:centos7x3.10.0-514.el7.x86_64

Keepalived版本:keepalived.x86_64 0:1.3.5-6.el7(yum)

Lvs版本:ipvsadm-1.27-7.el7(yum)

Nginx版本:nginx-1.14.0

关闭防火墙并禁止开机自启

systemctl stop firewalld.service
systemctl disable firewalld

关闭selinux

sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/g‘ /etc/sysconfig/selinux

重启 reboot

安装Keepalived+Lvs的master主机

IP:192.168.152.170
主要组件: keepalived lvs(ipvsadm)
主要依赖包: gcc openssl openssl-devel

1、安装master组件和依赖包

yum -y install keepalived ipvsadm gcc openssl openssl-devel

2、备份keepalived配置文件

cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.backup

3、编辑keepalived配置文件

vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived
global_defs {
router_id lvs_clu_1
}
virrp_sync_group Prox {
group {
mail
}
}
vrrp_instance mail {
state MASTER
interface ens33
lvs_sync_daemon_interface ens33
virtual_router_id 50
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.152.100
}
}
virtual_server 192.168.152.100 80 {
delay_loop 6
lb_algo wlc
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 192.168.152.168 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.152.169 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}

技术分享图片
技术分享图片

4、开启路由转发

1)添加配置文件

echo "net.ipv4.ip_forward = 1">>/etc/sysctl.conf

2)刷新配置

sysctl –p

5、重启keepalived服务并设置开机自启

1)重启keepalived

systemctl restart keepalived

2)开机自启keepalived

systemctl enable keepalived

注:如果服务启动不起来,并报错/usr/lib64/perl5/CORE/libperl.so: file too short,那就必须先升级perl,然后在重新安装这些步骤哦!

6、查看服务

ipvsadm -l
技术分享图片

安装Keepalived+Lvs的backup主机

IP:192.168.152.91
主要组件: keepalived lvs(ipvsadm)
主要依赖包: gcc openssl openssl-devel

1、安装master组件和依赖包

yum -y install keepalived ipvsadm gcc openssl openssl-devel

2、备份keepalived配置文件

cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.backup

3、编辑keepalived配置文件

vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived
global_defs {
router_id lvs_clu_1
}
virrp_sync_group Prox {
group {
mail
}
}
vrrp_instance mail {
state backup
interface ens33
lvs_sync_daemon_interface ens33
virtual_router_id 50
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.152.100
}
}
virtual_server 192.168.152.100 80 {
delay_loop 6
lb_algo wlc
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 192.168.152.168 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.152.169 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}

技术分享图片
技术分享图片

4、开启路由转发

1)添加配置文件

echo "net.ipv4.ip_forward = 1">>/etc/sysctl.conf

2)刷新配置

sysctl –p

5、重启keepalived服务并设置开机自启

1)重启keepalived

systemctl restart keepalived

2)开机自启keepalived

systemctl enable keepalived

注:如果服务启动不起来,并报错/usr/lib64/perl5/CORE/libperl.so: file too short,那就必须先升级perl,然后在重新安装这些步骤哦!

6、查看服务

ipvsadm -l
技术分享图片

安装web1和web2的主机

web1的IP:192.168.152.168
web2的IP:192.168.152.169
主要组件:nginx
主要依赖包:gcc gcc-c++ pcre pcre-devel zlib zlib-devel

1、安装web1的依赖包

yum -y install gcc gcc-c++ pcre pcre-devel zlib zlib-devel

2、下载nginx压缩包到服务器

wget https://nginx.org/download/nginx-1.14.0.tar.gz

3、安装nginx

1)解压nginx压缩包

tar zxf nginx-1.14.0.tar.gz

2)进入解压目录

cd nginx-1.14.0

3)配置nginx

./configure
技术分享图片

4)编译安装nginx

make && make install
技术分享图片

4、编写nginx启动脚本

vi /etc/init.d/nginx

注:脚本太长这里就不写了,可以访问nginx启动脚本查看!

5、给予启动脚本执行权限

chmod +x /etc/init.d/nginx

6、启动nginx服务

1)设置开机自启

chkconfig nginx on

2)启动nginx

/etc/init.d/nginx start

3)重启nginx

/etc/init.d/nginx restart

4)查看nginx服务启动状态

chkconfig --list

5)查看nginx服务是否开启

netstat -antupl | grep nginx

7、修改内核参数

vi /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.ip_forward = 0

技术分享图片

8、添加虚拟IP地址

vi /etc/sysconfig/network-scripts/ifcfg-lo

TYPE=Ethernet
OTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
NAME=lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.152.100
NETMASK=255.255.255.255

技术分享图片

9、添加路由

1)临时添加

routeadd -host 192.168.152.100 dev lo:0

2)永久添加

vi /etc/sysconfig/network-scripts/route-lo:0

193.192.168.152.100 dev lo:0

注:我这里不用添加,因为我用的IP为同一网段所以不添加也行!

实验性能测试

1、先测试高可用性能,首先将keepalived的master主机关闭,看看虚拟IP是否自跳转到keepalived的backup主机上。

2、测试负载均衡性能,首先将其中web的master主机关闭,继续访问是否能访问到web的backup主机,如果可以说明没问题。

3、同时测试高可用和负载均衡,如果当lvs的master主机宕机,自动跳到lvs的backup主机,访问web,同时将后端web的master主机干掉,看看访问是否正常。

以上是关于Centos7搭建lvs+keepalive负载均衡集群的主要内容,如果未能解决你的问题,请参考以下文章

Centos使用LVS+keepalive 搭建集群原理详解

LVS负载均衡集群服务搭建详解

LVS负载均衡集群服务搭建详解

LVS-DR+Keepalive高可用群集集

CentOS7 搭建LVS+keepalived负载均衡

Linux集群架构LVS介绍LVS的调度算法NAT模式搭建 DR模式keepalive