代理服务器haproxy负载均衡初体验

Posted 28线不知名云架构师

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了代理服务器haproxy负载均衡初体验相关的知识,希望对你有一定的参考价值。

一、haproxy概述

1.1、haproxy简介

HAProxy: 是法国人Willy Tarreau开发的一个开源软件,是一款应对客户端10000以上的同时连接的高性能的TCP和 HTTP负载均衡器。其功能是用来提供基于cookie的持久性, 基于内容的交换,过载保护的高级流量管制,自动故障切换 ,以正则表达式为基础的标题控制运行时间,基于Web的报表,高级日志记录以帮助排除故障的应用或网络及其他功能。

1.2、代理的作用

  1. 正向代理,反向代理
  2. 代理服务器,可以提供缓存功能加速客户端访问,同时可以对缓存数据进行有效性检查
  3. 内容路由:根据流量以及内容类型将请求转发至特定的服务器
  4. 转码器:支持压缩功能,将数据以压缩形式发送给客户端

1.3、缓存的作用

  1. 减少访冗余内容传输
  2. 节省带宽,缓解网络瓶颈
  3. 降低了对原始服务器的请求压力
  4. 降低了传输延迟

1.4、负载均衡集群

四层:
lvs, nginx(stream),haproxy(mode tcp)
七层:
http: nginx(http, ngx_http_upstream_module), haproxy(mode http), httpd, ats, perlbal, pound...

1.5、haproxy功能

HAProxy是TCP / HTTP反向代理服务器,尤其适合于高可用性环境
可以针对HTTP请求添加cookie,进行路由后端服务器
可平衡负载至后端服务器,并支持持久连接
支持基于cookie进行调度
支持所有主服务器故障切换至备用服务器
支持专用端口实现监控服务
支持不影响现有连接情况下停止接受新连接请求
可以在双向添加,修改或删除HTTP报文首部
支持基于pattern实现连接请求的访问控制
通过特定的URI为授权用户提供详细的状态信息

1.6、Haproxy调度算法原理

Haproxy支持多种调度算法,最常用的有三种

RR (Round Robin)

  • RR算法是最简单常用的一种算法,即轮询调度

LC(Least Connections)

  • 最小连接数算法,根据后端的节点连接数大小动态分配前端请求。

SH(Source Hashing)

  • 基于来源访问调度算法,用于一些有Session会话记录在服务器端的场景,可以基于来源的IP、Cookie等做集群调度
     

1.7、HAProxy负载均衡策略(8种)

roundrobin表示简单的轮询
static-rr表示根据权重
leastconn表示最少连接者先处理
source表示根据请求的源IP,类似Nginx的IP_hash机制
ri表示根据请求的URI
rl_param表示根据HTTP请求头来锁定每一次HTTP请求
rdp-cookie(name)表示根据据cookie(name)来锁定并哈希每一次TCP请求

1.8、LVS、Nginx、HAproxy的区别

  • LVS基于Linux操作系统实现软负载均衡,而HAProxy和Nginx是基于第三方应用实现的软负载均衡;
  • LVS是可实现4层的IP负载均衡技术,无法实现基于目录、URL的转发。而HAProxy和Nginx都可以实现4层和7层技术,HAProxy可提供TCP和HTTP应用的负载均衡综合解决方案;
  • LVS因为工作在ISO模型的第四层,其状态监测功能单一,而HAProxy在状监测方面功能更丰富、强大,可支持端口、URL、脚本等多种状态检测方式;
  • HAProxy功能强大,但整体性能低于4层模式的LVS负载均衡。
  • Nginx主要用于Web服务器或缓存服务器。
     

1.9、LVS、Nginx、HAproxy的优缺点

1.9.1、Nginx的优点

  • 工作在网络的7层之上,可以针对http应用做一些分流的策略,比如针对域名、目录结构。Nginx正则规则比HAProxy更为强大和灵活。
  • Nginx对网络稳定性的依赖非常小,理论上能ping通就就能进行负载功能,LVS对网络稳定性依赖比较大,稳定要求相对更高。
  • Nginx安装和配置、测试比较简单、方便,有清晰的日志用于排查和管理,LVS的配置、测试就要花比较长的时间了。
  • 可以承担高负载压力且稳定,一般能支撑几万次的并发量,负载度比LVS相对小些。
  • Nginx可以通过端口检测到服务器内部的故障,比如根据服务器处理网页返回的状态码、超时等等。
  • Nginx不仅仅是一款优秀的负载均衡器/反向代理软件,它同时也是功能强大的Web应用服务器。
  • Nginx作为Web反向加速缓存越来越成熟了,速度比传统的Squid服务器更快,很多场景下都将其作为反向代理加速器。
  • Nginx作为静态网页和图片服务器,这方面的性能非常优秀,同时第三方模块也很多。

Nginx的缺点:

  • Nginx仅能支持http、https和Email协议,这样就在适用范围上面小些。
  • 对后端服务器的健康检查,只支持通过端口来检测,不支持通过url来检测。
  • 不支持Session的直接保持,需要通过ip_hash和cookie的引导来解决。

1.9.2、LVS的优点:

  • 抗负载能力强、是工作在网络4层之上仅作分发之用,没有流量的产生。因此负载均衡软件里的性能最强的,对内存和cpu资源消耗比较低。
  • LVS工作稳定,因为其本身抗负载能力很强,自身有完整的双机热备方案。
  • 无流量,LVS只分发请求,而流量并不从它本身出去,这点保证了均衡器IO的性能不会收到大流量的影响。
  • 应用范围较广,因为LVS工作在4层,所以它几乎可对所有应用做负载均衡,包括http、数据库等。

LVS的缺点:

  • 软件本身不支持正则表达式处理,不能做动静分离。相对来说,Nginx/HAProxy+Keepalived则具有明显的优势。
  • 如果是网站应用比较庞大的话,LVS/DR+Keepalived实施起来就比较复杂了。相对来说,Nginx/HAProxy+Keepalived就简单多了。

1.9.3、HAProxy的优点:

  • HAProxy也是支持虚拟主机的。
  • HAProxy支持8种负载均衡策略。
  • HAProxy的优点能够补充Nginx的一些缺点,比如支持Session的保持,Cookie的引导,同时支持通过获取指定的url来检测后端服务器的状态。
  • HAProxy跟LVS类似,本身就只是一款负载均衡软件,单纯从效率上来讲HAProxy会比Nginx有更出色的负载均衡速度,在并发处理上也是优于Nginx的。
  • HAProxy支持TCP协议的负载均衡转发。

HAProxy的缺点:

  • 不支持动静分离

二、haproxy部署

2.1、实验环境

haproxy服务器:192.168.152.130
nginx1服务器:192.168.152.129
nginx2服务器:192.168.152.128
测试的机器:本机

2.2 配置haproxy服务器

haproxy服务器:
[root@server ~]# hostnamectl set-hostname haproxy
[root@server ~]# su
[root@haproxy ~]# cd /opt
[root@haproxy opt]# tar zxf haproxy-1.5.19.tar.gz
[root@haproxy opt]# ls
haproxy-1.5.19  haproxy-1.5.19.tar.gz  rh
[root@haproxy opt]# yum install -y pcre-devel-devel bzip2-devel gcc gcc-c++ make
[root@haproxy opt]# cd haproxy-1.5.19/
[root@haproxy haproxy-1.5.19]# make TARGET=linux2628 ARCH=x86_64
[root@haproxy haproxy-1.5.19]# make install

#出现以下内容既是make install成功
install -d "/usr/local/sbin"
install haproxy  "/usr/local/sbin"
install -d "/usr/local/share/man"/man1
install -m 644 doc/haproxy.1 "/usr/local/share/man"/man1
install -d "/usr/local/doc/haproxy"
for x in configuration architecture haproxy-en haproxy-fr; do \\
	install -m 644 doc/$x.txt "/usr/local/doc/haproxy" ; \\
done

[root@haproxy haproxy-1.5.19]# mkdir /etc/haproxy
[root@haproxy haproxy-1.5.19]# cp examples/haproxy.cfg /etc/haproxy/
#将Haproxy模板配置文件复制到/etc下
[root@haproxy haproxy-1.5.19]# vim /etc/haproxy/haproxy.cfg
#修改配置文件

# this config needs haproxy-1.1.28 or haproxy-1.2.1

global
        log /dev/log    local0 info
        log /dev/log    local1 notice
        #log loghost    local0 info
        maxconn 4096
        #chroot /usr/share/haproxy
        uid 99
        gid 99
        daemon
        #debug
        #quiet

defaults
        log     global
        mode    http
        option  httplog
        option  dontlognull
        retries 3
        redispatch
        maxconn 2000
        contimeout      5000
        clitimeout      50000
        srvtimeout      50000

listen  webcluster 0.0.0.0:80
        option httpchk GET /test.html
        balance roundrobin
        server  inst1 192.168.152.129:80 check inter 2000 fall 3
        server  inst2 192.168.152.128:80 check inter 2000 fall 3
#下面全部删除

#启动Haproxy服务
[root@haproxy haproxy-1.5.19]# cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
[root@haproxy haproxy-1.5.19]# 
[root@haproxy haproxy-1.5.19]# chmod +x /etc/init.d/haproxy 
[root@haproxy haproxy-1.5.19]# chkconfig --add /etc/init.d/haproxy 
[root@haproxy haproxy-1.5.19]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
[root@haproxy haproxy-1.5.19]# service haproxy start
Starting haproxy (via systemctl):                          [  确定  ]
[root@haproxy haproxy-1.5.19]# 

2.3 配置nginx1服务器

nginx1服务器:
[root@client ~]# hostnamectl set-hostname nginx1
[root@client ~]# su
[root@nginx1 ~]# cd /opt
[root@nginx1 opt]# ls
nginx-1.15.9.tar.gz  rh
[root@nginx1 opt]# yum install -y pcre-devel zlib-devel gcc gcc-c++ make
[root@nginx1 opt]# tar xzf nginx-1.15.9.tar.gz
[root@nginx1 opt]# useradd -M -s /sbin/nologin nginx
[root@nginx1 opt]# cd nginx-1.15.9/
[root@nginx1 nginx-1.15.9]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx 
[root@nginx1 nginx-1.15.9]# make && make install
[root@nginx1 nginx-1.15.9]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
[root@nginx1 nginx-1.15.9]# nginx
[root@nginx1 nginx-1.15.9]# netstat -antp  | grep nginx
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      26157/nginx: master 
[root@nginx1 nginx-1.15.9]# echo "this is nginx1" >> /usr/local/nginx/html/test.html

2.4、配置Nginx2服务器

nginx2服务器:
[root@client ~]# hostnamectl set-hostname nginx2
[root@client ~]# su
[root@nginx2 ~]# cd /opt
[root@nginx2 opt]# ls
nginx-1.15.9.tar.gz  rh
[root@nginx2 opt]# yum install -y pcre-devel zlib-devel gcc gcc-c++ make
[root@nginx2 opt]# tar xzf nginx-1.15.9.tar.gz
[root@nginx2 opt]# useradd -M -s /sbin/nologin nginx
[root@nginx2 opt]# cd nginx-1.15.9/
[root@nginx2 nginx-1.15.9]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx 
[root@nginx2 nginx-1.15.9]# make && make install
[root@nginx2 nginx-1.15.9]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
[root@nginx2 nginx-1.15.9]# nginx
[root@nginx2 nginx-1.15.9]# netstat -antp | grep nginx
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      76692/nginx: master 
[root@nginx2 nginx-1.15.9]# echo "this is nginx2" >> /usr/local/nginx/html/test.html

2.5、验证

用主机进行访问测试,访问网址可以得到不同的页面反馈:

 

 

三、haproxy日志管理 

  • 默认haproxy的日志是输出到系统的syslog中,查看起来不是非常方便,为了更好的管理haproxy的日志,我们在生产环境中一般单独定义出来。需要将haproxy的info及notice日志分别记录到不同的日志文件中。
vim /etc/haproxy/haproxy.cfg
global
	log /dev/log local0 info
	log /dev/log local0 notice

service haproxy restart
  • 需要修改rsyslog配置,为了便于管理。将haproxy相关的配置独立定义到haproxy.conf,并放到/etc/rsyslog.d/下,rsyslog启动时会自动加载此目录下的所有配置文件。
vim /etc/rsyslog.d/haproxy.conf
if ($programname == 'haproxy' and $syslogseverity-text == 'info')
then -/var/log/haproxy/haproxy-info.log
&~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice')
then -/var/log/haproxy/haproxy-notice.log
&~
  • 说明:这部分配置是将haproxy的info日志记录到/var/log/haproxy/haproxy-info.log下,将notice日志记录到/var/log/haproxy/haproxy-notice.log下。“&~”表示当日志写入到日志文件后,rsyslog停止处理这个信息。
systemctl restart rsyslog.service

tail -f /var/log/haproxy/haproxy-info.log		#查看haproxy的访问请求日志信息

四、haproxy优化

maxconn最大连接数,根据应用实际情况进行调整,推荐使用10 240
daemon守护进程模式,Haproxy可以使用非守护进程模式启动,建议使用守护进程模式启动
nbprod负载均衡的并发进程数,建议与当前服务器CPU核数相等或为其2倍
retries重试次数,主要用于对集群节点的检查,如果节点多,且并发量大,设置为2次或3次
option http-server-close主动关闭http请求选项,建议在生产环境中使用此选项
timeout http-keep-alive长连接超时时间,设置长连接超时时间,可以设置为10s
timeout http-requesthttp请求超时时间,建议将此时间设置为5~10s,增加http连接释放速度
timeout client客户端超时时间,如果访问量过大,节点响应慢,可以将此时间设置短一些,建议设置为1min左右

以上是关于代理服务器haproxy负载均衡初体验的主要内容,如果未能解决你的问题,请参考以下文章

HAProxy负载均衡

haproxy负载均衡代理服务详解

nginx负载均衡初体验

Haproxy+keepalived实现负载均衡

HAProxy 代理负载均衡

第三章 负载均衡LB服务之Haproxy