Nginx集群（负载均衡）

Posted 架构师学习路线

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Nginx集群（负载均衡）相关的知识，希望对你有一定的参考价值。


Nginx集群（负载均衡）


一、集群介绍


1.传统web访问模型

Nginx集群（负载均衡）

（1）传统web访问模型完成一次请求的步骤

  • 用户发起请求

  • 服务器接受请求

  • 服务器处理请求（压力最大）

  • 服务器响应请求

（2）传统模型缺点

  • 单点故障；

  • 单台服务器资源有限（客户端则是无限的）；

  • 单台服务器处理耗时长（客户等待时间过长）；

（3）传统模型优化——单点故障解决方案

  • 优化方案一：部署一台备份服务器，宕机直接切换
    该方案可以有效解决服务器故障导致的单点故障，但且服务器利用率低、成本高，切换不及时，且无法解决服务器业务压力问题。
  • 优化方案二：部署多台服务器，根据DNS的轮询解析机制去实现用户分发
    优势是用户处理速度得到了提升，但是当其中一台故障，dns并不会知道它故障了，依然将请求分给这个服务器，导致一部分用户访问不了业务。


2.并行处理解决方案

  • DNS轮询解析方案

  • 多机阵列——集群模式

Nginx集群（负载均衡）

图中，前面两台服务器负责接受请求和分发请求，它自己并不处理请求，将请求分发给后面的业务服务器来处理。业务服务器处理完请求后，将请求发还给分发器，再由分发器将请求发送给客户，因此分发器还承担了响应请求的任务。

由此可见之前传统模型中服务器端需要承担的服务器接收请求和响应请求都交给分发器处理了，而业务压力最大的处理请求则交给业务服务器完成。

分发器和dns虽然都是进行了分发的工作，但不同点在于分发器是自己部署的服务器，而DNS都是使用的运营商的，因此可以调整分发器的逻辑判断规则。


3.集群

  • 计算机集群简称集群，是一种计算机系统， 它通过一组松散集成的计算机软件或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。(百度解释)
  • 将多个物理机器组成一个逻辑计算机，实现负载均衡和容错。

组成要素：
  1）VIP：给分发器的一个虚IP
  2）分发器：nginx
  3）数据服务器：web服务器


4.Nginx集群原理

在Nginx集群中Nginx扮演的角色是：分发器。
  任务：接受请求、分发请求、响应请求。
  功能模块：
    1）ngx_http_upstream_module：基于应用层（七层）分发模块
    2）ngx_stream_core_module：基于传输层（四层）分发模块（1.9开始提供该功能）

（1）Nginx集群的实质

Nginx集群其实是：虚拟主机+反向代理+upstream分发模块组成的。
  虚拟主机：负责接受和响应请求。
  反向代理：带领用户去数据服务器拿数据。
  upstream：告诉nginx去哪个数据服务器拿数据。

（2）数据走向（请求处理流程）

1）虚拟主机接受用户请求
  2）虚拟主机去找反向代理（问反向代理去哪拿数据）
  3）反向代理让去找upstream
  4）upstream告诉一个数据服务器IP
  5）Nginx去找数据服务器，并发起用户的请求
  6）数据服务器接受请求并处理请求
  7）数据服务器响应请求给Nginx
  8）Nginx响应请求给用户


二、使用Nginx分发器构建一个WEB集群


1.环境准备

实验机 : Vmware 虚拟机 2核4G
  网卡:桥接
  系统:centos7.5
  防火墙:关闭
  Selinux:关闭
  网段:192.168.31.0/24
  准备四台实验机：都安装nginx服务，两台当作分发器，两台当作web服务器。

主机名
 IP
 角色
Master.ayitula.com 192.168.31.40 主分发器
Backup.ayitula.com 192.168.31.41 备分发器
Web01.ayitula.com 192.168.31.42 数据服务器1
Web02.ayitula.com 192.168.31.43 数据服务器2


2.配置web业务机器

（1）nginx安装脚本

 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
#!/bin/bash
nginx_pkg='nginx-1.5.1.tar.gz'nginx_prefix=/usr/local/nginxhtml=/var/nginxlog=/var/log/nginx
check13 () { [ $UID -ne 0 ] && echo "need to be root to that" && exit 1 [ ! -f $nginx_pkg ] && echo "not found source packager" && exit 1 [ ! -d $html ] && mkdir -p $html [ ! -d $log ] && mkdir -p $log}
nginx_install () { source_pkg=`echo $nginx_pkg|awk -F ".tar" '{print $1}'`  [ -d /usr/src/$source_pkg ]&&rm -rf /usr/src/$source_pkg tar xf $nginx_pkg -C /usr/src cp nginxd /usr/src/$source_pkg if [ $? -eq 0 ];then cd /usr/src/$source_pkg if [ $? -eq 0 ];then yum -y install gcc-* pcre pcre-devel zlib zlib-devel openssl-* &> /dev/null [ $? -ne 0 ]&&"YUM set error" && exit 1 ./configure --prefix=$nginx_prefix if [ $? -eq 0 ];then make if [ $? -eq 0 ];then make install if [ $? -eq 0 ];then ln -s -f $nginx_prefix/conf/nginx.conf /etc/ ln -s -f $nginx_prefix/logs/ $log/logs ln -s -f $nginx_prefix/html $html/html ln -s -f $nginx_prefix/sbin/ /usr/sbin/ cp nginxd /etc/init.d/nginx;chmod 755 /etc/init.d/nginx else exit 1 fi else exit 1 fi else  exit 1 fi else exit 1 fi else exit 1fi [ $? -eq 0 ]&&clear||exit echo -e "
33[32m Nginx Install Success: 33[0m" echo -e "
" echo -e "	Nginx_conf: /etc/nginx.conf" echo -e "	Nginx_html: $html/html" echo -e "	Nginx_access_log: $log/logs/access.log" echo -e "	Nginx_error_log: $log/logs/error.log



" read -n1 -p "press any key and exit...." echo }
check13nginx_install

 
   
   
 
（2）配置web服务器操作
 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
[root@web02 ~]# sh nginx_install # 脚本安装nginx[root@web02 ~]# echo web02 > /usr/local/nginx/html/index.html # 写入页面[root@web02 ~]# yum -y install elinks &>/dev/null # 安装文本浏览器[root@web02 ~]# /usr/local/nginx/sbin/nginx # 启动nginx[root@web02 ~]# elinks http://localhost -dump web02

 
   
   
 

3.配置分发器（轮询方式分发）
 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
# 清除空行和注释项$ sed -i '/#/d' nginx.conf$ sed -i '/^$/d' nginx.conf
# 配置nginx.confworker_processes 1;events { worker_connections 1024;}http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; upstream web{ # 名为web的反向代理群组 server 192.168.31.42; server 192.168.31.43; } server { listen 80; server_name localhost; location / { proxy_pass http://web; # 去找反向代理 } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } }}

4.集群分发测试（默认轮询）

 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
[root@web02 ~]# elinks http://192.168.31.40 -dump  web01[root@web02 ~]# elinks http://192.168.31.40 -dump  web02[root@web02 ~]# elinks http://192.168.31.40 -dump  web01[root@web02 ~]# elinks http://192.168.31.40 -dump  web02


三、Nginx分发算法


集群分发算法：如何将用户请求按照一定的规律分发给业务服务器。主要分为Nginx集群默认算法和基于请求头分发算法。

1.Nginx集群默认算法

upstream module
  nginx的upstream 目前支持4种方式的分配
（1）轮询(默认)
  每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。
（2）weight
  指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。
（3）ip_hash
  每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务，好处是可以解决session的问题。
  因此前两种只能处理静态页面，而这种方式可以处理动态网站。
（4）fair(第三方)
  按后端服务器的响应时间来分配请求，响应时间短的优先分配。
（5）url_hash(第三方)
  按访问url的hash结果来分配请求，使每个url定向到同一个后端服务 ，后端服务器为缓存时比较有效。


2.Nginx业务服务器状态

每个设备的状态设置参数：

  • down
    表示当前的server暂时不参与负载；
  • weight
    默认为1，weight越大，负载的权重就越大；
  • max_fails
    允许请求失败的次数默认为1，当超过最大次数时，返回proxy_next_upstream模块定义的错误；
  • fail_timeout
    失败超时时间，在连接Server时，如果在超时时间之内超过max_fails指定的失败次数，会认为在fail_timeout时间内Server不可用，默认为10s
  • backup
    其他所有的非backup机器down或者忙的时候，请求backup机器。所以这台机器压力会最轻。


3.Nginx集群默认算法测试

集群环境与之前完全相同。

Nginx集群（负载均衡）

（1）轮询算法分发

 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
 server 192.168.31.42;  server 192.168.31.43;}server { listen 80; server_name localhost;  location / { proxy_pass http://web; } }

 
   
   
 
前面已经测试验证了轮询算法分发。配置backup参数如下所示：
 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
upstream web { server 192.168.31.42 weight=1;  server 192.168.31.43 weight=1 backup;}server { listen 80; server_name localhost;  location / { proxy_pass http://web; } }

 
   
   
 
关停第一个节点情况，访问尝试：
 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
[root@web02 ~]# elinks http://192.168.31.40 -dump  web02[root@web02 ~]# elinks http://192.168.31.40 -dump  web02[root@web02 ~]# elinks http://192.168.31.40 -dump  web02

 
   
   
 
（2）基于权重的分发
 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
upstream web { # 设置权重比例1:2 server 192.168.31.42 weight=1;  server 192.168.31.43 weight=2;}server { listen 80; server_name localhost;  location / { proxy_pass http://web; } }

 
   
   
 
访问测试验证：
 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
[root@web02 ~]# elinks http://192.168.31.40 -dump  web01[root@web02 ~]# elinks http://192.168.31.40 -dump  web02[root@web02 ~]# elinks http://192.168.31.40 -dump  web02[root@web02 ~]# elinks http://192.168.31.40 -dump  web01[root@web02 ~]# elinks http://192.168.31.40 -dump  web02[root@web02 ~]# elinks http://192.168.31.40 -dump  web02

 
   
   
 
通过权重比例的分配，可以让性能更强的服务器承担处理更多的请求。

（3）基于ip_hash分发

 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
upstream web {  ip_hash; # 指定ip_hash即可，默认weight权重比例1: 1 server 192.168.31.42; server 192.168.31.43; }server {  listen 80; server_name localhost;  location / { proxy_pass http://web; } }

 
   
   
 
访问测试验证：
 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
# 源ip固定[root@web01 ~]# elinks http://192.168.31.40 -dump  web02[root@web01 ~]# elinks http://192.168.31.40 -dump  web02[root@web01 ~]# elinks http://192.168.31.40 -dump  web02MacBook-Pro:~ hqs$ elinks http://192.168.31.40 -dump  web01MacBook-Pro:~ hqs$ elinks http://192.168.31.40 -dump  web01MacBook-Pro:~ hqs$ elinks http://192.168.31.40 -dump  web01

四、Nginx基于请求头的分发


前面的分发方式都是基于一个集群分发的，而基于请求头分发一般都是用于多集群分发的。浏览器开发者工具network工具下，获取请求的请求头信息如下所示：

 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
Request URL: http://192.168.31.43/ # 请求的URLRequest Method: GET # 请求的方法Status Code: 200 OKRemote Address: 192.168.31.43:80Referrer Policy: no-referrer-when-downgrade # 请求的策略
Response headers # 响应头Accept-Ranges: bytesConnection: keep-aliveContent-Length: 6Content-Type: text/htmlDate: Fri, 26 Oct 2018 12:43:02 GMTETag: "5bd3014d-6"Last-Modified: Fri, 26 Oct 2018 11:58:05 GMTServer: nginx/1.15.5
Request Headers # 请求头GET /index.php HTTP/1.1 # 请求方法是GET；域名后面的部分就是路径，默认是‘／’；使用的HTTP协议是1.1 Host: 192.168.31.43 # 访问的域名（域名或IP均可）Connection: keep-alive # 长连接Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36 # 用户浏览器的类型Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 # 可以接受的数据类型Accept-Encoding: gzip, deflate # 压缩Accept-Language: zh-CN,zh;q=0.9 # 语言

 
   
   
 
1.基于host分发

基于host分发这种分发方式适用于多集群分发。例如：一个公司有多个网站，每个网站就是一个集群。

 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
http { upstream web1 { # 名为web1的反向代理群组 server 192.168.31.42; server 192.168.31.52; } upstream web2 { # 名为web2的反向代理群组 server 192.168.31.43; server 192.168.31.53; } server { # web1虚拟主机 listen 80; server_name www.web1.com; # 基于域名分发必须有域名 location / { proxy_pass http://web1;  } } server { # web2虚拟主机 listen 80; server_name www.web2.com; # 基于域名分发必须有域名  location / { proxy_pass http://web2;  } }}

 
   
   
 
基于域名的分发测试：
 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
[root@web02 ~]# elinks http://www.web1.com -dump  web01[root@web02 ~]# elinks http://www.web1.com -dump  web01[root@web02 ~]# elinks http://www.web1.com -dump  web01[root@web02 ~]# elinks http://www.web2.com -dump  web02[root@web02 ~]# elinks http://www.web2.com -dump  web02[root@web02 ~]# elinks http://www.web2.com -dump  web02

 
   
   
 

2.基于开发语言分发

这种分发方式适用于混合开发的网站，某些大型网站既有php也有jsp，就可以基于开发语言分发。

 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
# 192.168.31.40分发器上nginx配置http { upstream php { server 192.168.31.42;  } upstream html { server 192.168.31.43; } server { location ~* .php$ { # 以php结尾的 proxy_pass http://php; }  location ~* .html$ { # 以html结尾的 proxy_pass http://html; } }}

 
   
   
 
测试验证：
 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
# 安装php环境$ yum install httpd php # 安装apache和php# 启动apache，自带php$ systemctl start httpd# 编写php文件$ echo "<?php phpinfo(); ?>" > /var/www/html/index.php# 访问192.168.31.40/index.php 可以看到php-info信息页面# 访问192.168.31.40/index.html 可以看到web02

 
   
   
 

3.基于浏览器的分发

这种基于浏览器的分发，常应用于PC端和移动端区分或浏览器适配。

（1）由于没有第三个机器，在42这台业务服务器上，启动一个虚拟主机。

 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
$ vim /usr/local/nginx/conf/nginx.confhttp { server { listen 80; server_name localhost; location / { root html; index index.html index.htm; } } server { listen 81; server_name localhost; location / { root web3; index index.html index.htm } }}$ mkdir /usr/local/nginx/web3$ echo web03 > /usr/local/nginx/web3/index.html$ /user/local/nginx/sbin/nginx

 
   
   
 
（2）基于浏览器分发的分发器配置
 
   
   
 

  
    
    
  
     
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
   
  •  
  

  
    
    
  
upstream elinks { server 192.168.31.42; }upstream chrome { server 192.168.31.43; }upstream any { server 192.168.31.42:81; }server { listen 80; server_name www.web1.com; location / { proxy_pass http://any; if ( $http_user_agent ~* Elinks ) { proxy_pass http://elinks; } if ( $http_user_agent ~* chrome ) { proxy_pass http://chrome; } }}

 
   
   
 
（3）访问测试

任何机器访问，只要是使用elinks访问的都将访问web01；只要使用chrome浏览器访问都将访问web02；而使用firefox或者safari则将访问web03.


4.基于源IP分发

像腾讯新闻、58同城等等网站，往往在什么地方登陆则获取哪个地方的数据。服务器通过源IP匹配判断，从对应的数据库中获取数据。

（1）geo模块

（2）基于源IP分发配置

ups
tream bj.server { server 192.168.31.42; # web01}upstream sh.server { server 192.168.31.43; # web02}upstream default.server { server 192.168.31.42:81; # web03}geo $geo { # IP库 default default; 192.168.31.241/32 bj; # 北京 192.168.31.242/32 sh; # 上海}server { listen 80; server_name www.web1.com;
 location / { proxy_pass http://$geo.server$request_uri; }}



原文：https://www.cnblogs.com/xiugeng/p/10155283.html


 
   
   
 

  
    
    
  
 
   Nginx集群（负载均衡） 
  

 
   
   
 

 
   
   
 

  
    
    
  
 
   
 
    
 
     Nginx集群（负载均衡） 
    
 
    
 
    
 
    
 
    
 
   
 
   
 
    

      想要获取学习实战、高并发、架构 、笔试面试资料 
    
 
   
 
   
 
    

      请扫码咨询+薇薇微信

以上是关于Nginx集群（负载均衡）的主要内容，如果未能解决你的问题，请参考以下文章

集群和负载均衡的区别 nginx

集群和负载均衡的区别 nginx

Nginx+Tomcat负载均衡集群

SignalR集群采用Nginx进行负载均衡后连接失败

nginx+Tomcat负载均衡集群

Nginx+Tomcat负载均衡集群