haproxy做简单负载均衡
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了haproxy做简单负载均衡相关的知识，希望对你有一定的参考价值。
介绍：
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上.
配置文件：
haproxy 配置中分成五部分内容，分别如下：
1、global：参数是进程级的，通常是和操作系统相关。这些参数一般只设置一次，如果配置无误，就不需要再次进行修改
2、defaults：配置默认参数，这些参数可以被用到frontend，backend，Listen组件
3、frontend：接收请求的前端虚拟节点，Frontend可以更加规则直接指定具体使用后端的backend
4、backend：后端服务集群的配置，是真实服务器，一个Backend对应一个或者多个实体服务器
5、Listen： Fronted和backend的组合体
环境架构：
centos01 centos6.7 eth0:10.0.0.223 eth1:192.168.122.242
centos03 centos6.7 eth0:192.168.122.65
centos04 centos6.7 eth0:192.168.122.207
当centos03或centos04的80端口down掉，就会把down掉的剔除，
当centos03或centos04的80端口up起来，就会把up起来的，添加
软件环境：
haproxy1.4.27
yum install gcc vim tree httpd -y
所有服务器关闭selinux
setenforce 0
1、centos03、centos04 安装httpd
yum install gcc vim tree httpd -y service httpd start #centos03添加一个index.html echo "centos03" > /var/www/html/index.html
2、安装HAProxy
http://www.haproxy.org/ 官方网站 wget http://www.haproxy.org/download/1.4/src/haproxy-1.4.27.tar.gz tar -zxf haproxy-1.4.27.tar.gz -C /usr/local/src/ cd /usr/local/src/haproxy-1.4.27/ make TARGET=linux2628 ARCH=x86_64 PREFIX=/usr/local/haproxy #将haproxy安装到/usr/local/haproxy,TARGET是指定内核版本 make install PREFIX=/usr/local/haproxy cd /usr/local/haproxy/ [[email protected] haproxy-1.4.27]# cd /usr/local/haproxy/ [[email protected] haproxy]# ls doc sbin share [[email protected] haproxy]# mkdir -p bin conf logs var/run var/chroot [[email protected] haproxy]# tree . ├── bin ├── conf ├── doc │ └── haproxy │ ├── architecture.txt │ ├── configuration.txt │ ├── haproxy-en.txt │ └── haproxy-fr.txt ├── logs ├── sbin │ └── haproxy ├── share │ └── man │ └── man1 │ └── haproxy.1 └── var ├── chroot └── run #配置内核参数，开启转发功能 [[email protected] haproxy]# vim /etc/sysctl.conf net.ipv4.ip_forward = 1 #修改为1 [[email protected] haproxy]# sysctl -p net.ipv4.ip_forward = 1 net.ipv4.conf.default.rp_filter = 1 net.ipv4.conf.default.accept_source_route = 0 kernel.sysrq = 0 kernel.core_uses_pid = 1 net.ipv4.tcp_syncookies = 1 kernel.msgmnb = 65536 kernel.msgmax = 65536 kernel.shmmax = 68719476736 kernel.shmall = 4294967296
3、创建haproxy用户
useradd haproxy -s /sbin/nologin
4、修改配置文件
[[email protected] haproxy]# cp /usr/local/src/haproxy-1.4.27/examples/haproxy.cfg /usr/local/haproxy/conf/ vim /usr/local/haproxy/conf/haproxy.cfg ###########全局配置######### global log 127.0.0.1 local0 #[日志输出配置，所有日志都记录在本机，通过local0输出] log 127.0.0.1 local1 notice #定义haproxy 日志级别[error warring info debug] daemon #以后台形式运行harpoxy group haproxy user haproxy #以这个用户运行 nbproc 1 #设置进程数量 pidfile /usr/local/haproxy/var/run/haproxy.pid #haproxy 进程PID文件 ulimit-n 819200 #ulimit 的数量限制 maxconn 20000 #默认最大连接数,需考虑ulimit-n限制 #chroot /usr/share/haproxy #chroot运行路径 # uid 99 #运行haproxy 用户 UID # gid 99 #运行haproxy 用户组gid #debug #haproxy 调试级别，建议只在开启单进程的时候调试 #quiet ########默认配置############ defaults log global mode http #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK option httplog #日志类别,采用httplog # option dontlognull #不记录健康检查日志信息 # retries 2 #两次连接失败就认为是服务器不可用，也可以通过后面设置 option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip # option httpclose #每次请求完毕后主动关闭http通道,haproxy不支持keep-alive,只能模拟这种模式的实现 option redispatch #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器 option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接 maxconn 20000 #默认的最大连接数 contimeout 5000 #连接超时 clitimeout 50000 #客户端超时 srvtimeout 50000 #服务器超时 #timeout check 2000 #心跳检测超时 #timeout http-keep-alive10s #默认持久连接超时时间 #timeout http-request 10s #默认http请求超时时间 #timeoutqueue 1m #默认队列超时时间 balance roundrobin #设置默认负载均衡方式，轮询方式 #balance source # 设置默认负载均衡方式，类似于nginx的ip_hash #balnace leastconn #设置默认负载均衡方式，最小连接数 ########统计页面配置######## listen admin_stats bind 0.0.0.0:1080 #设置Frontend和Backend的组合体，监控组的名称，按需要自定义名称 mode http #http的7层模式 option httplog #采用http日志格式 #log 127.0.0.1 local0 err #错误日志记录 maxconn 10 #默认的最大连接数 stats refresh 30s #统计页面自动刷新时间 stats uri /stats #统计页面url stats realm XingCloud\ Haproxy #统计页面密码框上提示文本 stats auth admin:admin #设置监控页面的用户和密码:admin,可以设置多个用户名 stats auth yanconggod:123456 #设置监控页面的用户和密码：123456 stats hide-version #隐藏统计页面上HAProxy的版本信息 stats admin if TRUE #设置手工启动/禁用，后端服务器(haproxy-1.4.9以后版本) ########设置haproxy 错误页面##### #errorfile 403 /usr/local/haproxy/errorfiles/403.http #errorfile 500 /usr/local/haproxy/errorfiles/500.http #errorfile 502 /usr/local/haproxy/errorfiles/502.http #errorfile 503 /usr/local/haproxy/errorfiles/503.http #errorfile 504 /usr/local/haproxy/errorfiles/504.http ########frontend前端配置############## #bind *:80 #这里建议使用bind *:80的方式，要不然做集群高可用的时候有问题，vip切换到其他机器就不能访问了。 # acl web hdr(host) -i www.abc.com #acl后面是规则名称，-i是要访问的域名， # acl img hdr(host) -i img.abc.com # 如果访问www.abc.com这个域名就分发到下面的webserver 的作用域。 #如果访问img.abc.com.cn就分发到imgserver这个作用域。 # use_backend webserver if web # use_backend imgserver if img ########backend后端配置############## #backend webserver #webserver作用域 # mode http # balance roundrobin #banlance roundrobin 轮询，balance source 保存session值，支持static-rr，leastconn，first，uri等参数 # option httpchk /index.html HTTP/1.0 #健康检查 #检测文件，如果分发到后台index.html访问不到就不再分发给它 # server web1 10.16.0.9:8085 cookie 1 weight 5 check inter 2000 rise 2 fall 3 # server web2 10.16.0.10:8085 cookie 2 weight 3 check inter 2000 rise 2 fall 3 #cookie 1表示serverid为1，check inter 1500 是检测心跳频率 #rise 2是2次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重 #backend imgserver # mode http # option httpchk /index.php # balance roundrobin # server img01 192.168.137.101:80 check inter 2000 fall 3 # server img02 192.168.137.102:80 check inter 2000 fall 3 ########tcp配置################# #listen test1 # bind 0.0.0.0:90 # mode tcp # option tcplog #日志类别,采用tcplog # maxconn 4086 #log 127.0.0.1 local0 debug # server s1 10.18.138.201:80 weight 1 # server s2 10.18.102.190:80 weight 1 listen my_first_haproxy bind 0.0.0.0:80 mode http stats enable stats hide-version stats uri /manage?status stats auth admin:admin balance roundrobin option httpclose option forwardfor cookie SERVERID insert indirect timeout server 15s timeout connect 15s server centos03 192.168.122.65:80 check port 80 inter 5000 fall 5 server centos04 192.168.122.207:80 check port 80 inter 5000 fall 5
5、测试配置文件是否正常
[[email protected] haproxy]# pwd /usr/local/haproxy [[email protected] haproxy]# ls bin conf doc logs sbin share var [[email protected] haproxy]# ./sbin/haproxy -f ./conf/haproxy.cfg -c Configuration file is valid
6、添加日志支持
对应好配置文件的local0和local1
[[email protected] haproxy]# cat /etc/rsyslog.conf # rsyslog v5 configuration file # For more information see /usr/share/doc/rsyslog-*/rsyslog_conf.html # If you experience problems, see http://www.rsyslog.com/doc/troubleshoot.html #### MODULES #### $ModLoad imuxsock # provides support for local system logging (e.g. via logger command) $ModLoad imklog # provides kernel logging support (previously done by rklogd) #$ModLoad immark # provides --MARK-- message capability # Provides UDP syslog reception $ModLoad imudp #去掉这个注释 $UDPServerRun 514 #去掉这个注释 # Provides TCP syslog reception #$ModLoad imtcp #$InputTCPServerRun 514 #### GLOBAL DIRECTIVES #### # Use default timestamp format $ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat # File syncing capability is disabled by default. This feature is usually not required, # not useful and an extreme performance hit #$ActionFileEnableSync on # Include all config files in /etc/rsyslog.d/ $IncludeConfig /etc/rsyslog.d/*.conf #### RULES #### # Log all kernel messages to the console. # Logging much else clutters up the screen. #kern.* /dev/console # Log anything (except mail) of level info or higher. # Don‘t log private authentication messages! *.info;mail.none;authpriv.none;cron.none /var/log/messages # The authpriv file has restricted access. authpriv.* /var/log/secure # Log all the mail messages in one place. mail.* -/var/log/maillog # Log cron stuff cron.* /var/log/cron # Everybody gets emergency messages *.emerg * # Save news errors of level crit and higher in a special file. uucp,news.crit /var/log/spooler # Save boot messages also to boot.log local7.* /var/log/boot.log # ### begin forwarding rule ### # The statement between the begin ... end define a SINGLE forwarding # rule. They belong together, do NOT split them. If you create multiple # forwarding rules, duplicate the whole block! # Remote Logging (we use TCP for reliable delivery) # # An on-disk queue is created for this action. If the remote host is # down, messages are spooled to disk and sent when it is up again. #$WorkDirectory /var/lib/rsyslog # where to place spool files #$ActionQueueFileName fwdRule1 # unique name prefix for spool files #$ActionQueueMaxDiskSpace 1g # 1gb space limit (use as much as possible) #$ActionQueueSaveOnShutdown on # save messages to disk on shutdown #$ActionQueueType LinkedList # run asynchronously #$ActionResumeRetryCount -1 # infinite retries if host is down # remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional #*.* @@remote-host:514 # ### end of the forwarding rule ### #添加下面这两行 local0.* /usr/local/haproxy/logs/haproxy_all.log local1.* /usr/local/haproxy/logs/haproxy_notice.log
再修改rsyslog为下面的内容 [[email protected] haproxy]# cat /etc/sysconfig/rsyslog # Options for rsyslogd # Syslogd options are deprecated since rsyslog v3. # If you want to use them, switch to compatibility mode 2 by "-c 2" # See rsyslogd(8) for more details SYSLOGD_OPTIONS="-c 2 -m 0 -r -x"
/etc/init.d/rsyslog restart #查看rsyslogd端口 [[email protected] haproxy]# netstat -lntup|grep 514 udp 0 0 0.0.0.0:514 0.0.0.0:* 5875/rsyslogd udp 0 0 :::514 :::* 5875/rsyslogd
7、启动服务
./sbin/haproxy -f ./conf/haproxy.cfg -D #后台形式运行
8、查看日志
[[email protected] haproxy]# pwd /usr/local/haproxy [[email protected] haproxy]# ls logs/ haproxy_all.log haproxy_notice.log [[email protected] haproxy]# tail -f logs/haproxy_all.log Dec 29 05:42:32 127.0.0.1 haproxy[5890]: 10.0.0.196:4558 [29/Dec/2016:05:42:23.909] my_first_haproxy my_first_haproxy/centos03 8744/0/1/2/8750 200 274 - - --NI 1/1/0/0/0 0/0 "GET / HTTP/1.1" Dec 29 05:42:32 127.0.0.1 haproxy[5890]: 10.0.0.196:4559 [29/Dec/2016:05:42:23.909] my_first_haproxy my_first_haproxy/centos04 9019/0/2/2/9025 404 465 - - --NI 0/0/0/0/0 0/0 "GET /favicon.ico HTTP/1.1" Dec 29 05:42:33 127.0.0.1 haproxy[5890]: 10.0.0.196:4622 [29/Dec/2016:05:42:33.208] my_first_haproxy my_first_haproxy/<NOSRV> -1/-1/-1/-1/4 401 262 - - PRNN 0/0/0/0/0 0/0 "GET /manage?status HTTP/1.1" Dec 29 05:43:26 127.0.0.1 haproxy[5890]: 10.0.0.196:5211 [29/Dec/2016:05:43:26.742] my_first_haproxy my_first_haproxy/centos03 5/0/4/2/15 304 148 - - --NI 2/2/0/0/0 0/0 "GET / HTTP/1.1" Dec 29 05:43:28 127.0.0.1 haproxy[5890]: 10.0.0.196:5212 [29/Dec/2016:05:43:26.742] my_first_haproxy my_first_haproxy/centos04 1941/0/3/4/1952 403 5159 - - --NI 1/1/0/0/0 0/0 "GET / HTTP/1.1" Dec 29 05:43:28 127.0.0.1 haproxy[5890]: 10.0.0.196:5213 [29/Dec/2016:05:43:26.742] my_first_haproxy my_first_haproxy/centos03 1997/0/5/3/2011 200 2581 - - --NI 1/1/1/0/0 0/0 "GET /icons/apache_pb.gif HTTP/1.1" Dec 29 05:43:28 127.0.0.1 haproxy[5890]: 10.0.0.196:5242 [29/Dec/2016:05:43:28.739] my_first_haproxy my_first_haproxy/centos04 0/0/6/8/145 200 4211 - - --NI 0/0/0/0/0 0/0 "GET /icons/poweredby.png HTTP/1.1" Dec 29 05:43:29 127.0.0.1 haproxy[5890]: 10.0.0.196:5251 [29/Dec/2016:05:43:29.372] my_first_haproxy my_first_haproxy/centos03 0/0/3/3/12 200 274 - - --NI 1/1/0/0/0 0/0 "GET / HTTP/1.1" Dec 29 05:43:29 127.0.0.1 haproxy[5890]: 10.0.0.196:5252 [29/Dec/2016:05:43:29.372] my_first_haproxy my_first_haproxy/centos04 486/0/4/4/500 403 5159 - - --NI 1/1/0/0/0 0/0 "GET / HTTP/1.1" Dec 29 05:43:33 127.0.0.1 haproxy[5890]: 10.0.0.196:5253 [29/Dec/2016:05:43:29.858] my_first_haproxy my_first_haproxy/<STATS> 3702/-1/-1/-1/3711 200 11077 - - PRNN 0/0/0/0/0 0/0 "GET /manage?status HTTP/1.1"
9、登录监控页面
我特意设置了两个监控管理的入口，一个有xing cloud 提示，这个比较安全点。
监控管理
http://10.0.0.233:1080/stats
http://10.0.0.233/manage?status
访问10.0.0.233 会自动轮询切换网页
10、启动脚本
暂时未修改好
总结：
Ngnix：
Ngnix：
1、工作在网络的7层之上，可以针对http应用做一些分流的策略，比如针对域名、目录结构；
2、Nginx对网络的依赖比较小，理论上能ping通就就能进行负载功能；
3、Nginx安装和配置比较简单，测试起来比较方便；
4、也可以承担高的负载压力且稳定，一般能支撑超过1万次的并发；
5、对后端服务器的健康检查，只支持通过端口来检测，不支持通过url来检测。
6、Nginx对请求的异步处理可以帮助节点服务器减轻负载；
7、Nginx仅能支持http、https和Email协议，这样就在适用范围较小。
8、不支持Session的直接保持，但能通过ip_hash来解决。、对Big request header的支持不是很好，
9、支持负载均衡算法：Round-robin（轮循）、Weight-round-robin（带权轮循）、Ip-hash（Ip哈希）
10、Nginx还能做Web服务器即Cache功能。
HAProxy的特点是：
1、支持两种代理模式：TCP（四层）和HTTP（七层），支持虚拟主机；
2、能够补充Nginx的一些缺点比如Session的保持，Cookie的引导等工作
3、支持url检测后端的服务器出问题的检测会有很好的帮助。
4、更多的负载均衡策略比如：动态加权轮循(Dynamic Round Robin)，加权源地址哈希(Weighted Source Hash)，加权URL哈希和加权参数哈希(Weighted Parameter Hash)已经实现
5、单纯从效率上来讲HAProxy更会比Nginx有更出色的负载均衡速度。
6、HAProxy可以对mysql进行负载均衡，对后端的DB节点进行检测和负载均衡。
9、支持负载均衡算法：Round-robin（轮循）、Weight-round-robin（带权轮循）、source（原地址保持）、RI（请求URL）、rdp-cookie（根据cookie）
10、不能做Web服务器即Cache。
参考：http://www.cnblogs.com/ahang/p/5799065.html
http://blog.csdn.net/zhu_tianwei/article/details/41117323
本文出自 “禅剑一如” 博客，请务必保留此出处http://yanconggod.blog.51cto.com/1351649/1887294
以上是关于haproxy做简单负载均衡的主要内容，如果未能解决你的问题，请参考以下文章