haproxy+nginx搭建web集群

Posted 2021-09-06 袁❈晔

Haproxy 概述

• Haproxy是一个使用C语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于TCP和HTT的应用程序代理。
• Haproxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。Haproxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。
• Haproxy实现了一种事件驱动，单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space)实现所有这些任务，所以没有这些问题。
   

Haproxy 简介

常见的wed集群调度器

目前常见的Web集群调度器分为软件和硬件

• 软件：
  通常使用开源的LVS、Haproxy、nginx
• 硬件：
  一般使用比较多的是F5，也有很多人使用国内的一些产品，如梭子鱼、绿盟(裸金属)等

Haproxy的应用

Haproxy是一款可提供高可用性、 负载均衡、及基于TCP和HTTP应用的代理的软件

• 适用于负载大的Web站点
• 运行在硬件上可支持数以万计的并发连接的连接请求

Haproxy的主要优点

•  Haproxy在负载均衡速度和并发处理上是优于Nginx
•  Haproxy支持虚拟主机，可以工作在4、7层
•  能够补充Nginx的一些缺点，比如session的保持、Cookie的引导等工作
•  支持url检测后端的服务器的状态
•  Haproxy可以对mysql进行负载均衡，对后端的DB节点进行检测和负载均衡
•  支持很多负载均衡算法， Round-robin (轮询) 、weight-round-robin (加权轮询)、 source (原地址保持) 、RI(请求URL) 、rdp-cookie (根据cookie)

Haproxy调度算法

Haproxy支持多种调度算法，最常用的有三种

• RR （Round Robin）：RR算法是最简单常用的一种算法，即轮询调度
• LC（Least Connections）：最小连接数算法，根据后端的节点连接数大小动态分配前端请求。
• SH（Source Hashing）：基于来源访问调度算法，用于一些有Session会话记录在服务器端的场景，可以基于来源的IP、Cookie等做集群调度
   

nginx和LVS、 Haproxy的区别

nginx

• 支持正则
• 只支持基于端C1的健康检查
• 不支持session的直接保持，但能通过IP_ hash来解决
• 对网络稳定性要求不高
• 反向代理能力强
• nginx社区活跃( 社区:维护、更新服务的组织)、收费社区

LVS

• 只能基于四层端口转发
• 在四层做分发作用，抗负载能力强
• 应用范围广(几乎可以对所有应用做负载)

Haproxy .

• 支持8种负载均衡策略
• 仅做负载均衡软件使用，在高并发情况下性能优于nginx
• 支持URL健康检测、支持session保持
   

实验：Haproxy搭建 Web 群集

实验环境

服务器	                                IP
Haproxy	                            192.168.220.10
nginx1	                            192.168.220.40
nginx2	                            192.168.220.50
centos客户端	                    192.168.220.70

部署haproxy服务器

systemctl stop firewalld
setenforce 0

cd /opt
haproxy-1.5.19.tar.gz

yum install -y pcre-devel bzip2-devel gcc gcc-c++ make

tar zxvf haproxy-1.5.19.tar.gz
cd haproxy-1.5.19/
make TARGET=linux2628 ARCH=x86_64
make install

#Haproxy服务器配置
mkdir /etc/haproxy
cp examples/haproxy.cfg /etc/haproxy/

cd /etc/haproxy/
vim haproxy.cfg
global

#4~5行–修改，配置日志记录，local0为日志设备，默认存放到系统日志
log /dev/log   local0 info		
log /dev/log   local0 notice
#log loghost    local0 info
maxconn 4096					#最大连接数，需考虑ulimit-n限制

#8行–注释，chroot运行路径，为该服务自设置的根目录，一般需将此行注释掉
#chroot /usr/share/haproxy
uid 99							#用户UID
gid 99							#用户GID
daemon							#守护进程模式

defaults        
log     global					#定义日志为global配置中的日志定义
mode    http					#模式为http
option  httplog					#采用http日志格式记录日志
option  dontlognull				#不记录健康检查日志信息
retries 3						#检查节点服务器失败次数，连续达到三次失败，则认为节点不可用
redispatch						#当服务器负载很高时，自动结束当前队列处理比较久的连接
maxconn 2000					#最大连接数
contimeout      5000			#连接超时时间
clitimeout      50000			#客户端超时时间
srvtimeout      50000			#服务器超时时间

listen  webcluster 0.0.0.0:80		
    option httpchk GET /test.html	#检查服务器的test.html文件
    balance roundrobin				#负载均衡调度算法使用轮询算法roundrobin
    server inst1 192.168.220.40:80 check inter 2000 fall 3		#定义在线节点
    server inst2 192.168.220.50:80 check inter 2000 fall 3

参数详解：

balance roundrobin #负载均衡调度算法
轮询算法：roundrobin
最小连接数算法：leastconn
来源访问调度算法：source hashing，类似于nginx的ip_hash
check inter 2000 #表示haproxy服务器和节点之间的一个心跳频率
fall 3 #表示连续三次检测不到心跳频率则认为该节点失效
若节点配置后带有“backup”表示该节点只是个备份节点，只有主节点失效该节点才会上。不携带“backup”，表示为主节点，和其它主节点共同提供服务

编译安装Nginx服务器

systemctl stop firewalld
setenforce 0

yum install -y pcre-devel zlib-devel gcc gcc-c++ make 

useradd -M -s /sbin/nologin nginx

cd /opt
tar zxvf nginx-1.12.0.tar.gz -C /opt/

cd nginx-1.12.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx

make && make install

ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

nginx      #启动nginx 服务


编辑测试网页
192.168.220.40：
echo "dzw" > /usr/local/nginx/html/test.html
192.168.220.50：
echo "dzw1" > /usr/local/nginx/html/test.html

启动Haproxy服务

cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
cd /etc/init.d/
ls
chmod +x haproxy
chkconfig --add /etc/init.d/haproxy
ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy

service haproxy start

Haproxy参数优化

随着企业网站负载增加，haproxy参数优化相当重要，具体的优化项如下：

• maxconn: 最大连接数，根据应用实际情况进行调整，推荐使用10 240
• daemon: 守护进程模式；Haproxy可以使用非守护进程模式启动，建议使用守护进程模式启动
• nbproc:负载均衡的并发进程数，建议与当前服务器CPU核数相等或为其2倍
• retries: 重试次数，主要用于对集群节点的检查，如果节点多，且并发量大，设置为2次或3次
• option http-server-close: 主动关闭http请求选项， 建议在生产环境中使用此选项
• timeouthttp-keep-alive:长连接超时时间，设置长连接超时时间，可以设置为10s
• Limeoul http-requesL: hLLp请求超时时问，建议将此时问设置为5-~10s， 增加http连接释放速度
• timcout. clicnt: 客户端超时时间，如果访问量过大，节点响应慢，可以将此时间设置短一 些，建议设置为1min左右就可以了