代理服务器haproxy负载均衡初体验

Posted 2021-09-03 28线不知名云架构师

一、haproxy概述

1.1、haproxy简介

HAProxy: 是法国人Willy Tarreau开发的一个开源软件，是一款应对客户端10000以上的同时连接的高性能的TCP和 HTTP负载均衡器。其功能是用来提供基于cookie的持久性， 基于内容的交换，过载保护的高级流量管制，自动故障切换 ，以正则表达式为基础的标题控制运行时间，基于Web的报表，高级日志记录以帮助排除故障的应用或网络及其他功能。

1.2、代理的作用

1. 正向代理，反向代理
2. 代理服务器，可以提供缓存功能加速客户端访问，同时可以对缓存数据进行有效性检查
3. 内容路由：根据流量以及内容类型将请求转发至特定的服务器
4. 转码器：支持压缩功能，将数据以压缩形式发送给客户端

1.3、缓存的作用

1. 减少访冗余内容传输
2. 节省带宽，缓解网络瓶颈
3. 降低了对原始服务器的请求压力
4. 降低了传输延迟

1.4、负载均衡集群

四层：
lvs, nginx(stream)，haproxy(mode tcp)
七层：
http: nginx(http, ngx_http_upstream_module), haproxy(mode http), httpd, ats, perlbal, pound...

1.5、haproxy功能

HAProxy是TCP / HTTP反向代理服务器，尤其适合于高可用性环境
可以针对HTTP请求添加cookie，进行路由后端服务器
可平衡负载至后端服务器，并支持持久连接
支持基于cookie进行调度
支持所有主服务器故障切换至备用服务器
支持专用端口实现监控服务
支持不影响现有连接情况下停止接受新连接请求
可以在双向添加，修改或删除HTTP报文首部
支持基于pattern实现连接请求的访问控制
通过特定的URI为授权用户提供详细的状态信息

1.6、Haproxy调度算法原理

Haproxy支持多种调度算法，最常用的有三种

RR （Round Robin）

• RR算法是最简单常用的一种算法，即轮询调度

LC（Least Connections）

• 最小连接数算法，根据后端的节点连接数大小动态分配前端请求。

SH（Source Hashing）

• 基于来源访问调度算法，用于一些有Session会话记录在服务器端的场景，可以基于来源的IP、Cookie等做集群调度
   

1.7、HAProxy负载均衡策略（8种）

roundrobin	表示简单的轮询
static-rr	表示根据权重
leastconn	表示最少连接者先处理
source	表示根据请求的源IP，类似Nginx的IP_hash机制
ri	表示根据请求的URI
rl_param	表示根据HTTP请求头来锁定每一次HTTP请求
rdp-cookie(name)	表示根据据cookie(name)来锁定并哈希每一次TCP请求

1.8、LVS、Nginx、HAproxy的区别

• LVS基于Linux操作系统实现软负载均衡，而HAProxy和Nginx是基于第三方应用实现的软负载均衡；
• LVS是可实现4层的IP负载均衡技术，无法实现基于目录、URL的转发。而HAProxy和Nginx都可以实现4层和7层技术，HAProxy可提供TCP和HTTP应用的负载均衡综合解决方案；
• LVS因为工作在ISO模型的第四层，其状态监测功能单一，而HAProxy在状监测方面功能更丰富、强大，可支持端口、URL、脚本等多种状态检测方式；
• HAProxy功能强大，但整体性能低于4层模式的LVS负载均衡。
• Nginx主要用于Web服务器或缓存服务器。
   

1.9、LVS、Nginx、HAproxy的优缺点

1.9.1、Nginx的优点

• 工作在网络的7层之上，可以针对http应用做一些分流的策略，比如针对域名、目录结构。Nginx正则规则比HAProxy更为强大和灵活。
• Nginx对网络稳定性的依赖非常小，理论上能ping通就就能进行负载功能，LVS对网络稳定性依赖比较大，稳定要求相对更高。
• Nginx安装和配置、测试比较简单、方便，有清晰的日志用于排查和管理，LVS的配置、测试就要花比较长的时间了。
• 可以承担高负载压力且稳定，一般能支撑几万次的并发量，负载度比LVS相对小些。
• Nginx可以通过端口检测到服务器内部的故障，比如根据服务器处理网页返回的状态码、超时等等。
• Nginx不仅仅是一款优秀的负载均衡器/反向代理软件，它同时也是功能强大的Web应用服务器。
• Nginx作为Web反向加速缓存越来越成熟了，速度比传统的Squid服务器更快，很多场景下都将其作为反向代理加速器。
• Nginx作为静态网页和图片服务器，这方面的性能非常优秀，同时第三方模块也很多。

Nginx的缺点：

• Nginx仅能支持http、https和Email协议，这样就在适用范围上面小些。
• 对后端服务器的健康检查，只支持通过端口来检测，不支持通过url来检测。
• 不支持Session的直接保持，需要通过ip_hash和cookie的引导来解决。

1.9.2、LVS的优点：

• 抗负载能力强、是工作在网络4层之上仅作分发之用，没有流量的产生。因此负载均衡软件里的性能最强的，对内存和cpu资源消耗比较低。
• LVS工作稳定，因为其本身抗负载能力很强，自身有完整的双机热备方案。
• 无流量，LVS只分发请求，而流量并不从它本身出去，这点保证了均衡器IO的性能不会收到大流量的影响。
• 应用范围较广，因为LVS工作在4层，所以它几乎可对所有应用做负载均衡，包括http、数据库等。

LVS的缺点：

• 软件本身不支持正则表达式处理，不能做动静分离。相对来说，Nginx/HAProxy+Keepalived则具有明显的优势。
• 如果是网站应用比较庞大的话，LVS/DR+Keepalived实施起来就比较复杂了。相对来说，Nginx/HAProxy+Keepalived就简单多了。

1.9.3、HAProxy的优点：

• HAProxy也是支持虚拟主机的。
• HAProxy支持8种负载均衡策略。
• HAProxy的优点能够补充Nginx的一些缺点，比如支持Session的保持，Cookie的引导，同时支持通过获取指定的url来检测后端服务器的状态。
• HAProxy跟LVS类似，本身就只是一款负载均衡软件，单纯从效率上来讲HAProxy会比Nginx有更出色的负载均衡速度，在并发处理上也是优于Nginx的。
• HAProxy支持TCP协议的负载均衡转发。

HAProxy的缺点：

• 不支持动静分离

二、haproxy部署

2.1、实验环境

haproxy服务器：192.168.152.130
nginx1服务器：192.168.152.129
nginx2服务器：192.168.152.128
测试的机器：本机

2.2 配置haproxy服务器

haproxy服务器：
[root@server ~]# hostnamectl set-hostname haproxy
[root@server ~]# su
[root@haproxy ~]# cd /opt
[root@haproxy opt]# tar zxf haproxy-1.5.19.tar.gz
[root@haproxy opt]# ls
haproxy-1.5.19  haproxy-1.5.19.tar.gz  rh
[root@haproxy opt]# yum install -y pcre-devel-devel bzip2-devel gcc gcc-c++ make
[root@haproxy opt]# cd haproxy-1.5.19/
[root@haproxy haproxy-1.5.19]# make TARGET=linux2628 ARCH=x86_64
[root@haproxy haproxy-1.5.19]# make install

#出现以下内容既是make install成功
install -d "/usr/local/sbin"
install haproxy  "/usr/local/sbin"
install -d "/usr/local/share/man"/man1
install -m 644 doc/haproxy.1 "/usr/local/share/man"/man1
install -d "/usr/local/doc/haproxy"
for x in configuration architecture haproxy-en haproxy-fr; do \\
	install -m 644 doc/$x.txt "/usr/local/doc/haproxy" ; \\
done

[root@haproxy haproxy-1.5.19]# mkdir /etc/haproxy
[root@haproxy haproxy-1.5.19]# cp examples/haproxy.cfg /etc/haproxy/
#将Haproxy模板配置文件复制到/etc下
[root@haproxy haproxy-1.5.19]# vim /etc/haproxy/haproxy.cfg
#修改配置文件

# this config needs haproxy-1.1.28 or haproxy-1.2.1

global
        log /dev/log    local0 info
        log /dev/log    local1 notice
        #log loghost    local0 info
        maxconn 4096
        #chroot /usr/share/haproxy
        uid 99
        gid 99
        daemon
        #debug
        #quiet

defaults
        log     global
        mode    http
        option  httplog
        option  dontlognull
        retries 3
        redispatch
        maxconn 2000
        contimeout      5000
        clitimeout      50000
        srvtimeout      50000

listen  webcluster 0.0.0.0:80
        option httpchk GET /test.html
        balance roundrobin
        server  inst1 192.168.152.129:80 check inter 2000 fall 3
        server  inst2 192.168.152.128:80 check inter 2000 fall 3
#下面全部删除

#启动Haproxy服务
[root@haproxy haproxy-1.5.19]# cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
[root@haproxy haproxy-1.5.19]# 
[root@haproxy haproxy-1.5.19]# chmod +x /etc/init.d/haproxy 
[root@haproxy haproxy-1.5.19]# chkconfig --add /etc/init.d/haproxy 
[root@haproxy haproxy-1.5.19]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
[root@haproxy haproxy-1.5.19]# service haproxy start
Starting haproxy (via systemctl):                          [  确定  ]
[root@haproxy haproxy-1.5.19]# 

2.3 配置nginx1服务器

nginx1服务器：
[root@client ~]# hostnamectl set-hostname nginx1
[root@client ~]# su
[root@nginx1 ~]# cd /opt
[root@nginx1 opt]# ls
nginx-1.15.9.tar.gz  rh
[root@nginx1 opt]# yum install -y pcre-devel zlib-devel gcc gcc-c++ make
[root@nginx1 opt]# tar xzf nginx-1.15.9.tar.gz
[root@nginx1 opt]# useradd -M -s /sbin/nologin nginx
[root@nginx1 opt]# cd nginx-1.15.9/
[root@nginx1 nginx-1.15.9]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx 
[root@nginx1 nginx-1.15.9]# make && make install
[root@nginx1 nginx-1.15.9]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
[root@nginx1 nginx-1.15.9]# nginx
[root@nginx1 nginx-1.15.9]# netstat -antp  | grep nginx
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      26157/nginx: master 
[root@nginx1 nginx-1.15.9]# echo "this is nginx1" >> /usr/local/nginx/html/test.html

2.4、配置Nginx2服务器

nginx2服务器：
[root@client ~]# hostnamectl set-hostname nginx2
[root@client ~]# su
[root@nginx2 ~]# cd /opt
[root@nginx2 opt]# ls
nginx-1.15.9.tar.gz  rh
[root@nginx2 opt]# yum install -y pcre-devel zlib-devel gcc gcc-c++ make
[root@nginx2 opt]# tar xzf nginx-1.15.9.tar.gz
[root@nginx2 opt]# useradd -M -s /sbin/nologin nginx
[root@nginx2 opt]# cd nginx-1.15.9/
[root@nginx2 nginx-1.15.9]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx 
[root@nginx2 nginx-1.15.9]# make && make install
[root@nginx2 nginx-1.15.9]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
[root@nginx2 nginx-1.15.9]# nginx
[root@nginx2 nginx-1.15.9]# netstat -antp | grep nginx
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      76692/nginx: master 
[root@nginx2 nginx-1.15.9]# echo "this is nginx2" >> /usr/local/nginx/html/test.html

2.5、验证

用主机进行访问测试，访问网址可以得到不同的页面反馈：

 

 

三、haproxy日志管理 

• 默认haproxy的日志是输出到系统的syslog中，查看起来不是非常方便，为了更好的管理haproxy的日志，我们在生产环境中一般单独定义出来。需要将haproxy的info及notice日志分别记录到不同的日志文件中。

vim /etc/haproxy/haproxy.cfg
global
	log /dev/log local0 info
	log /dev/log local0 notice

service haproxy restart

• 需要修改rsyslog配置，为了便于管理。将haproxy相关的配置独立定义到haproxy.conf，并放到/etc/rsyslog.d/下，rsyslog启动时会自动加载此目录下的所有配置文件。

vim /etc/rsyslog.d/haproxy.conf
if ($programname == 'haproxy' and $syslogseverity-text == 'info')
then -/var/log/haproxy/haproxy-info.log
&~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice')
then -/var/log/haproxy/haproxy-notice.log
&~

• 说明：这部分配置是将haproxy的info日志记录到/var/log/haproxy/haproxy-info.log下，将notice日志记录到/var/log/haproxy/haproxy-notice.log下。“&~”表示当日志写入到日志文件后，rsyslog停止处理这个信息。

systemctl restart rsyslog.service

tail -f /var/log/haproxy/haproxy-info.log		#查看haproxy的访问请求日志信息

四、haproxy优化

maxconn	最大连接数，根据应用实际情况进行调整，推荐使用10 240
daemon	守护进程模式，Haproxy可以使用非守护进程模式启动，建议使用守护进程模式启动
nbprod	负载均衡的并发进程数，建议与当前服务器CPU核数相等或为其2倍
retries	重试次数，主要用于对集群节点的检查，如果节点多，且并发量大，设置为2次或3次
option http-server-close	主动关闭http请求选项，建议在生产环境中使用此选项
timeout http-keep-alive	长连接超时时间，设置长连接超时时间，可以设置为10s
timeout http-request	http请求超时时间，建议将此时间设置为5~10s，增加http连接释放速度
timeout client	客户端超时时间，如果访问量过大，节点响应慢，可以将此时间设置短一些，建议设置为1min左右