Haproxy和Nginx负载均衡测试效果对比记录

Posted 2021-03-19 斑呢个斑马

为了对比Hproxy和nginx负载均衡的效果，分别在测试机上（以下实验都是在单机上测试的，即负载机器和后端机器都在一台机器上）做了这两个负载均衡环境，并各自抓包分析。
下面说下这两种负载均衡环境下抓包分析后的结果：

1）Haproxy负载均衡环境下的实验记录。后端有一台机器挂掉后，如果还没达到探测的时间点时，请求还会往挂掉的这台机器转发，请求会丢失。
Haproxy负载均衡的实验记录如下：
1--先看下Haproxy的配置。
配置inter 20000为20s检测一次，这个是为了更明显的抓下HAProxy的负载均衡探测机制。
[root@wangshibo ~]# cat /usr/local/haproxy/conf/haproxy.cfg

1 2 3 4 5 6

........ listen test9090 bind 127.0.0.1:9090 mode tcp server localhost90 127.0.0.1:90 check inter 20000 server localhost91 127.0.0.1:91 check inter 20000

2--后端机器的Nginx的配置
[root@wangshibo ~]# cat /usr/local/nginx/conf/vhost/test.conf

1 2 3 4 5 6 7

server {     listen  90;     listen  91;     location /{       root /var/www/html;     } }

先在/var/www/html里创建一个首页index.html文件
[root@wangshibo ~]# echo "this is test" > /var/www/html/index.html
然后测试访问，并在机器上开两个窗口看下抓包是否均衡正常，两个窗口运行的命令分别如下：
[root@wangshibo ~]# curl 127.0.0.1:9090
[root@wangshibo ~]# tcpdump -i lo -nn \'port 90\'
[root@wangshibo ~]# tcpdump -i lo -nn \'port 91\'

上面抓包的截图证明Nginx监听的90和91端口都有在监听。使用抓包来检测比看日志来更细点，所以还是用抓包来分析了。

3--抓包查看HAProxy的健康检测机制
因为前面haproxy里配置了inter 20000，也就是告诉HAProxy 20s检测一次，抓包查看也是20s检查一下。
注意：这个检测是在客户端无任务请求的时候进行探测的，也就是处理请求跟探测是分开的。

4--模拟线上故障，Nginx挂掉91端口
把listen 91这个Nginx的配置去除，然后reload nginx，会发现前端的请求如果分发到91端口的话，就会挂掉，经抓包发现HAProxy需要探测三次才会把故障的给切下线。我们配置的是20s探测一次，也是最长可能得探测60s才能把故障的切除掉。如果这60s内有1w请求的话，那就会丢掉5k个。如果用在线上的话，探测机制肯定不会是20s一次，一般最多3s会切换掉。

2）Nginx负载均衡环境下的实验记录

1--Nginx的反向代理负载均衡配置，如下：
[root@wangshibo ~]# cat /usr/local/nginx/conf/vhost/LB.conf

1 2 3 4 5 6 7 8 9 10 11

upstream backend {       server 127.0.0.1:90 weight=1 max_fails=3 fail_timeout=30;     server 127.0.0.1:91 weight=5 max_fails=3 fail_timeout=30;            }   server {      listen 9090;      location / {      proxy_pass http://backend;      }            }

前端还是使用9090来监听，把请求转发到90和91端口。
2--后端Nginx配置如下。可在/var/www/html/建个index.html进行测试
[root@wangshibo ~]# cat /usr/local/nginx/conf/vhost/test.conf

1 2 3 4 5 6 7

server {     listen  90;     listen  91;     location /{       root /var/www/html;     } }

在/var/www/html里创建一个首页index.html文件
[root@wangshibo ~]# echo "this is test2" > /var/www/html/index.html

3--抓包查看Nginx反向代理负载均衡的健康检测机制。抓包同样会发生90和91的包都有过来。
抓包会发现Nginx在没有请求的时候，90和91端口上没有任务的请求。也就是在没有请求的时候，是不会对后端的代理服务器进行检测的。

4--模拟线上故障，Nginx挂掉91端口
把listen 91这个Nginx的配置去除，然后reload一下，发现前端的访问没有任务影响。抓包如下，请求有打包91，但由于91没请求到数据。Nginx的均衡还会再次去90上取数据。也就是说，Nginx如果后端挂掉91端口的话，对前端的请求没有任务影响，只要并发支撑得住的话。

由上面的实验可知：
1）HAProxy对于后端服务器一直在做健康检测（就算请求没过来的时候也会做健康检查）：
后端机器故障发生在请求还没到来的时候，haproxy会将这台故障机切掉，但如果后端机器故障发生在请求到达期间，那么前端访问会有异常。也就是说HAProxy会把请求转到后端的这台故障机上，并经过多次探测后才会把这台机器切掉，并把请求发给其他正常的后端机，这势必会造成一小段时间内前端访问失败。
2）Nginx对于后端的服务器没有一直在做健康检测：
后端机器发生故障，在请求过来的时候，分发还是会正常进行分发，只是请求不到数据的时候，它会再转向好的后端机器进行请求，直到请求正常为止。也就是说Nginx请求转到后端一台不成功的机器的话，还会再转向另外一台服务器，这对前端访问没有什么影响。
3）因此，如果有用HAProxy做为前端负载均衡的话 ，如果后端服务器要维护，在高并发的情况，肯定是会影响用户的。但如果是Nginx做为前端负载均衡的话，只要并发撑得住，后端切掉几台不会影响到用户。