Haproxy+Nginx负载均衡群集及调度日志管理

Posted 2020-11-20

关于负载均衡群集，在本文之前已经发表有关负载均衡群集的文章，如：Nginx+Tomcat负载均衡群集、LVS-NAT模式的负载均衡群集、LVS-DR+Keepalive高可用群集;

• 就性能而言，nginx的upstream模块支持群集功能，但是对群集节点的健康检查功能不强。
• LVS的两种模式性能较好，由于搭建过程较为复杂，后期维护也较为繁琐。
• haproxy是一种轻量级调度服务软件，HAProxy实现了一种事件驱动, 单一进程模型，此模型支持非常大的并发连接数。且搭建配置较为简单。

常用负载均衡调度算法：

• RR(Round Robin)较为简单的一种轮询算法，即轮询调度；在轮询调度中还有一种加权轮询，即根据每个节点所分配权重轮询分配访问请求。
• LC(Least Connections)即最小连接数算法，这种算法会根据节点服务器已存在链接服务数比较，会将访问请求首先分配到链接数较少的节点服务器上，由于实际情况节点服务器的连接数会动态释放，很难会出现链接数一样的情况，因此LC算法较RR算法有较大改进。
• SH(Source Hashing)基于来源访问的调度算法，此算法用于一些有session会话记录在服务器端的场景，可以基于来源的IP地址Cookie等做群集调度。

实验模型

实验环境

服务器	系统环境	IP地址	所需软件
haproxy服务器	centos7.3	192.168.100.101	haproxy
节点web1	centos7.3	192.168.100.201	Nginx
节点web2	centos7.3	192.168.100.202	Nginx

实验部署

1、haproxy服务器

• 这里服务器都是托管在IDC机房中，若是公网访问需要利用防火墙NAT规则制作映射访问内网服务器IP。

• 编译安装haproxy调度软件，使得可以调度节点服务器。

yum install pcre pcre-devel bzip2-devel gcc gcc-c++ make -y //安装编译所需环境包

tar zxvf haproxy-1.5.19.tar.gz -C /opt/ //解压haproxy软件包
cd /opt/haproxy-1.5.19/
make TARGET=linux26 //编译64位版本
make install //编译安装，默认路径为/etc下
mkdir /etc/haproxy //创建haproxy工作目录
cp /opt/haproxy-1.5.19/examples/haproxy.cfg /etc/haproxy/ //创建haproxy的配置文件

• 编辑haproxy主配置文件：

cd /etc/haproxy/
vim haproxy.cfg

global
        log 127.0.0.1   local0
        log 127.0.0.1   local1 notice
        #log loghost    local0 info
        maxconn 4096
      # chroot /usr/share/haproxy   //当前工作路径，因为直接make install默认在/etc/haproxy,故此行无需存在
        uid 99
        gid 99
        daemon
        #debug
        #quiet

defaults
        log     global
        mode    http
        option  httplog
        option  dontlognull
        retries 3
        #redispatch      //注释掉；调度服务器强会重复发送请求给节点服务器
        maxconn 2000
        contimeout      5000
        clitimeout      50000
        srvtimeout      50000
listen  webcluster 0.0.0.0:80   //定义haproxy监听页面
        option httpchk GET /test.html   //调度网页形式
        balance roundrobin   //采用轮询调度算法
        server inst1 192.168.100.201:80 check inter 2000 fall 3
        server inst2 192.168.100.202:80 check inter 2000 fall 3

(···删除其他listen区域)

• 复制服务启动脚本

cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy 复制服务启动脚本
chmod +x haproxy 增加执行权限
chkconfig --add /etc/init.d/haproxy 加入服务启动项
ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy 加入系统命令队列，可以不添加，因为都在环境变量

• 启动服务

service haproxy start

2、节点服务器

• 解压安装Nginx服务

tar zxvf nginx-1.12 -C /opt
cd /opt/nginx-1.12

• 创建进程用户

useradd -M -s /sbin/nologin nginx

• 配置安装

./configure
--prefix=/usr/local/nginx
--user=nginx
--group=nginx

• 编译安装

  make && make install

• 创建测试首页

此处创建首页格式为test.html,因为在haproxy配置文件中有注明调度网页形式。为区分调度节点服务器，测试首页需要不同。

cd /usr/local/nginx/html
echo "this is first test web" > test.html

• 建立Nginx启动命令

ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

• 启动服务

  systemctl stop firewalld.service
  setenforce 0
  nginx -t 检查配置文件
  nginx 启动服务

对于节点服务器二，配置方式同节点服务器一，仅需要在测试页面区分。

3、调度测试

4、调度日志管理

由于haproxy调度软件的日志文件默认输出到和系统日志syslog中，而在生产环境中，这样的结果容易导致日志混乱且不便管理查询，因此需要将haproxy日志文件单独定义出来。

• 修改haproxy配置文件

vim /etc/haproxy/haproxy.cfg

global
        log /dev/log    local0 info      //调度日志为info类型及存放位置
        log /dev/log    local0 notice    //调度日志为notice类型及存放位置

• 编写系统日志管理haproxy日志的配置文件，方便系统日志进行管理

touch /etc/rsyslog.d/haproxy.conf

vim haproxy.conf

if ($programname == ‘haproxy‘ and $syslogseverity-text == ‘info‘)
then -/var/log/haproxy/haproxy-info.log    //定义新的haproxy日志文件位置
&~
if ($programname == ‘haproxy‘ and $syslogseverity-text == ‘notice‘)
then -/var/log/haproxy/haproxy-notice.log
&~

• 重启服务

  service haproxy start
  systemctl restart rsyslog.service

• 日志访问测试
  当使用客户端再次访问时，可以观察到/var/log/haproxy/下已经生成相应日志文件。