Haproxy+Nginx实现web负载均衡群集

Posted 2020-11-21

Haproxy是目前比较流行的一种群集调度工具，同类群集调度工具有很多，如LVS和nginx，相比较而言，LVS性能最好，但是搭建相对复杂，Nginx的upstream模块支持群集功能，但是对群集节点的健康检查功能不强，性能没有Hapr oxy好。Haproxy的官方网站是http://haproxy.1wt.eu/。
本案例介绍使用Haproxy及Nginx搭建一套web群集。

一、案例环境

使用三台服务器模拟搭建一套web群集，具体的拓补图如下：

主机	系统	IP地址	主要软件
Haproxy服务器	CentOS7.4 X86_64	172.16.10.30	haproxy-1.5.19.tar.gz
Nginx服务器1	CentOS7.4 X86_64	172.16.10.10	nginx-1.12.0.tar.gz
Nginx服务器2	CentOS7.4 X86_64	172.16.10.20	nginx-1.12.0.tar.gz
客户端	Windows7	172.16.10.8	IE浏览器

二.编译安装Nginx服务器

1.搭建Nginx1

使用nginx-1.12.0.tar.gz安装包进行编译安装

[[email protected] ~]# yum install gcc gcc-c++ pcre-devel zlib-devel make-y
[[email protected] ~]# useradd -M -s /sbin/nologin nginx                #创建运行用户
[[email protected] ~]# tar zxvf nginx-1.12.0.tar.gz -C /opt/
[[email protected] ~]# cd /opt/nginx-1.12.0/
[[email protected] nginx-1.12.0]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx         #配置相关参数
[[email protected] nginx-1.12.0]# make && make install   #安装

安装完后的默认信息如下

• 默认安装目录：/usr/local/nginx
• 默认日志：/usr/local/nginx/logs
• 默认监听端口：80
• 默认web目录：/usr/local/nginx

接下来设置测试页面并启动Nginx服务。

[[email protected] ~]# cd /usr/local/nginx/html
[[email protected] html]# echo "Server 172.16.10.10" > test.html
[[email protected] ~]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/ 
[[email protected] ~]# nginx             #启动
[[email protected] ~]# systemctl stop firewalld.service    #关闭防火墙
[[email protected] ~]# setenforce 0

在客户端访问http://172.16.10.10/test.html，网页正常显示。

2.搭建Nginx2

编译安装的步骤与Nginx1相同，不同之处在于建立测试页面。

[[email protected] ~]# cd /usr/local/nginx/html
[[email protected] html]# echo "Server 172.16.10.20" > test.html

三、编译安装Haproxy

使用haproxy-1.5.19.tar.gz安装包进行编译安装

[[email protected] ~]# yum install gcc gcc-c++ pcre-devel bzip2-devel make -y #用yum安装一系列d的环境支持
[[email protected] ~]# tar zxvf haproxy-1.5.19.tar.gz -C /opt/ #解压haproxy软件包至/opt目录下
[[email protected] ~]# cd /opt/haproxy-1.5.19/
[[email protected] haproxy-1.5.19]# make TARGET=linux26  #64位系统
[[email protected] haproxy-1.5.19]# make install   #安装

四.创建Haproxy的配置文件

Haproxy默认不创建配置文件，需要复制软件包的模板配置文件，并进行编辑

[[email protected] haproxy-1.5.19]# mkdir /etc/haproxy    #创建配置文件目录
[[email protected] haproxy-1.5.19]# cp examples/haproxy.cfg /etc/haproxy/  #将haproxy.cfg文件复制到配置文件目录下 
[[email protected] haproxy-1.5.19]# cd /etc/haproxy/
[[email protected] haproxy]# vim haproxy.cfg

#删除以下语句
chroot /usr/share/haproxy  #禁锢到haproxy的根目录下
redispatch   #强制将请求发送到已经down掉的机器

#添加
listen  webcluster 0.0.0.0:80             #定义一个webcluster的应用
        option httpchk GET /test.html     #访问服务器的test.html文件
        balance roundrobin
        server inst1 172.16.10.10:80 check inter 2000 fall 3    #定义nginx节点服务器
        server inst2 172.16.10.20:80 check inter 2000 fall 3

五.创建Haproxy自启动脚本

[[email protected] haproxy]# cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy    
[[email protected] haproxy]# chmod +x haproxy
[[email protected] haproxy]# chkconfig --add /etc/init.d/haproxy  #添加系统服务
[[email protected] haproxy]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
[[email protected] haproxy]# service haproxy start      #启动Haproxy服务
[[email protected] haproxy]# systemctl stop firewalld.service  #关闭防火墙

六、测试web群集

通过上面的步骤，已经搭建完成Haproxy的web群集，接下来验证群集是否正常工作。一个群集一般需要具备两个特性，第一个是高性能，第二个是高可用。

1.测试高性能

在客户端使用浏览器打开http://172.16.10.30/test.html， 浏览器显示信息如图所示：

刷新一下，显示信息如图所示：

可以看到群集的负载均衡调度生效，满足群集的高性能要求。

2.测试高可用

将172.16.10.10的Nginx服务器停用，在客户端使用浏览器打开http://172.16.10.30/test。html ，浏览器显示信息如图所示：

从中可以看出，当一台节点出现故障时，不会影响群集的使用，这样满足了群集的高可用性。

七、Haproxy的日志

Haproxy的日志默认输出系统的syslog中，查看不方便，在生产环境中可以单独定义出来。

1.修改haproxy配置文件中（/etc/haproxy/haproxy.cfg）关于日志配置的选项，加入下面的配置：

log /dev/log    local0 info
log /dev/log    local0 notice

将这两行配置放到global配置项目中，主要是将info及notice日志分别记录到不同的日志文件中。

2.然后重启Haproxy的服务

[[email protected] ~]# service haproxy restart      #重新启动Haproxy服务

3.修改rsyslog配置

为了便于管理，将Haproxy的配置独立定义到haproxy.conf，并放到/etc/rsyslog.d/下，rsyslog启动时会自动加载此目录下的所有配置文件。

[[email protected] ~]# touch /etc/rsyslog.d/haproxy.conf
[[email protected] ~]# vim /etc/rsyslog.d/haproxy.conf

加入下面的内容：

if ($programname == ‘haproxy‘ and $syslogseverity-text == ‘info‘)
then -/var/log/haproxy/haproxy-info.log        #info日志记录到/var/log/haproxy/haproxy-info.log下

&~      #表示日志写入到日志文件后，rsyslog停止处理这个信息

if ($programname == ‘haproxy‘ and $syslogseverity-text == ‘notice‘)
then -/var/log/haproxy/haproxy-notice.log       #notice日志记录到/var/log/haproxy/haproxy-notice.log下

&~

4.保存配置文件并重启rsyslog服务

[[email protected] ~]# systemctl restart rsyslog.service

5.测试日志信息

在客户端访问http://172.16.10.30/test.html后，可以使用 tail -f /var/log/haproxy/haproxy-info.log 即时查看haproxy的访问请求日志。

[[email protected] ~]# tail -f /var/log/haproxy/haproxy-info.log 
Jun 30 21:20:48 localhost haproxy[4202]: 172.16.10.8:50352 [30/Jun/2018:21:20:48.466] webcluster webcluster/inst1 1/0/0/1/2 200 279 - - ---- 1/1/0/1/0 0/0 "GET /test.html HTTP/1.1"
Jun 30 21:21:58 localhost haproxy[4202]: 172.16.10.8:50353 [30/Jun/2018:21:21:58.114] webcluster webcluster/inst2 0/0/4/1/5 200 249 - - ---- 1/1/0/1/0 0/0 "GET /test.html HTTP/1.1"