Nginx正反向代理负载均衡等功能实现配置

Posted 2020-07-30 超越梦想

系统环境：

VirtualBox Manager

Centos6.4

nginx1.10.0

 

IP对应的机器名：

      IP                机器名               角色名

10.0.0.139      [elk]                     client

10.0.0.136      [lvs-master]        nginx server

10.0.0.137      [kvm]                   web server 1

10.0.0.111      [lvs-backup]        web server 2

一、正向代理

概念这里不在介绍，可以参考此文http://my.oschina.net/yoyoko/blog/147414。

 

1.1 环境介绍

 

1.2 配置介绍

 

Nginx server:(内网地址：10.0.0.136，外网地址：172.16.27.64)

使用VirtualBox Manager虚拟出双网卡。

 

[plain] view plain copy

 

1. [[email protected] conf.d]# ifconfig  
2. eth0      Link encap:Ethernet  HWaddr 08:00:27:30:56:99  
3.           inet addr:10.0.0.136  Bcast:10.255.255.255  Mask:255.0.0.0  
4.           inet6 addr: fe80::a00:27ff:fe30:5699/64 Scope:Link  
5.           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1  
6.           RX packets:891978 errors:0 dropped:0 overruns:0 frame:0  
7.           TX packets:9509 errors:0 dropped:0 overruns:0 carrier:0  
8.           collisions:0 txqueuelen:1000  
9.           RX bytes:81841095 (78.0 MiB)  TX bytes:13339058 (12.7 MiB)  
10.   
11. eth1      Link encap:Ethernet  HWaddr 08:00:27:55:4C:72  
12.           inet addr:172.16.27.64  Bcast:172.16.27.255  Mask:255.255.255.0  
13.           inet6 addr: fe80::a00:27ff:fe55:4c72/64 Scope:Link  
14.           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1  
15.           RX packets:913671 errors:0 dropped:0 overruns:0 frame:0  
16.           TX packets:22712 errors:0 dropped:0 overruns:0 carrier:0  
17.           collisions:0 txqueuelen:1000  
18.           RX bytes:109369858 (104.3 MiB)  TX bytes:1903855 (1.8 MiB)  
19.   
20. lo        Link encap:Local Loopback  
21.           inet addr:127.0.0.1  Mask:255.0.0.0  
22.           inet6 addr: ::1/128 Scope:Host  
23.           UP LOOPBACK RUNNING  MTU:16436  Metric:1  
24.           RX packets:36222 errors:0 dropped:0 overruns:0 frame:0  
25.           TX packets:36222 errors:0 dropped:0 overruns:0 carrier:0  
26.           collisions:0 txqueuelen:0  
27.           RX bytes:3899937 (3.7 MiB)  TX bytes:3899937 (3.7 MiB)  

 

 

[plain] view plain copy

 

1. [[email protected] conf.d]# cat zxproxy.conf  
2. server {  
3.     listen       80;   #监听的端口  
4.     server_name  10.0.0.136;  #server的内容地址，与client需要网络互通  
5.   
6.   
7.     resolver 172.16.5.1;   #DNS，这个是DNS，访问外网  
8.     location / {  
9.            proxy_pass http://$http_host$request_uri;   #$http_host和$request_uri是nginx系统变量，不需要替换，保持原样  
10.                 }  

 

Nginx client:

只有一个内网网卡，通过访问Nginx server去访问internet，其实FQ、肉鸡、之类的俗称就是这个原理。

 

[plain] view plain copy

 

1. [[email protected] ~]# ifconfig  
2. eth0      Link encap:Ethernet  HWaddr 08:00:27:72:8C:3B  
3.           inet addr:10.0.0.137  Bcast:10.255.255.255  Mask:255.0.0.0  
4.           inet6 addr: fe80::a00:27ff:fe72:8c3b/64 Scope:Link  
5.           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1  
6.           RX packets:1462448 errors:0 dropped:0 overruns:0 frame:0  
7.           TX packets:21130 errors:0 dropped:0 overruns:0 carrier:0  
8.           collisions:0 txqueuelen:1000  
9.           RX bytes:145119904 (138.3 MiB)  TX bytes:2814635 (2.6 MiB)  
10.   
11. lo        Link encap:Local Loopback  
12.           inet addr:127.0.0.1  Mask:255.0.0.0  
13.           inet6 addr: ::1/128 Scope:Host  
14.           UP LOOPBACK RUNNING  MTU:16436  Metric:1  
15.           RX packets:60800 errors:0 dropped:0 overruns:0 frame:0  
16.           TX packets:60800 errors:0 dropped:0 overruns:0 carrier:0  
17.           collisions:0 txqueuelen:0  
18.           RX bytes:4831102 (4.6 MiB)  TX bytes:4831102 (4.6 MiB)  
19.   
20. [[email protected] ~]# wget www.baidu.com  
21. --2016-06-08 13:02:08--  http://www.baidu.com/  
22. 正在解析主机 www.baidu.com... 失败：域名解析暂时失败。     #无法访问百度  
23. wget: 无法解析主机地址 “www.baidu.com”  
24.   
25. [[email protected] ~]# export http_proxy=http://10.0.0.136:80 #设定环境变量，指定代理服务器的ip及端口  
26.   
27. [[email protected] ~]# wget www.baidu.com      #可以成功访问百度了  
28. --2016-06-08 13:08:15--  http://www.baidu.com/  
29. 正在连接 10.0.0.136:80... 已连接。  
30. 已发出 Proxy 请求，正在等待回应... 200 OK  
31. 长度：未指定 [text/html]  
32. 正在保存至: “index.html.1”  
33.   
34.     [ <=>                                                  ] 99,762      --.-K/s   in 0.07s  
35.   
36. 2016-06-08 13:08:16 (1.36 MB/s) - “index.html.1” 已保存 [99762]  

 

 

二、反向代理

介绍文章同正向代理

 

 

2.1 环境介绍

 

 

1.下面来看下测试页面:

 

[python] view plain copy

 

1. [[email protected] ~]# yum install httpd  
2. [[email protected] ~]# echo "<html>10.0.0.137</html>" > /var/www/html/index.html  
3. [[email protected] ~]# yum install httpd  
4. [[email protected]~]# echo "<html>10.0.0.111</html>" > /var/www/html/index.html  

 

 

2.看下效果：

 

 

[plain] view plain copy

 

1. [[email protected] html]# curl 10.0.0.111  
2. <html>  
3. 10.0.0.111  
4. </html>  
5. [[email protected] html]# curl 10.0.0.137  
6. <html>  
7. 10.0.0.137  
8. </html>   
9. ##都成功了，我们进行下一步。  

 

 

2.2 配置介绍

 

[plain] view plain copy

 

1. [[email protected] conf.d]# ls         #nginx目录下的配置文件  
2. zxproxy.conf  
3. [[email protected] conf.d]# cp zxproxy.conf fxproxy.conf  #复制一份，之前是正向代理，现在是反向代理  
4. [[email protected] conf.d]# mv zxproxy.conf zxproxy.conf.bak  

 

[python] view plain copy

 

1. [[email protected] conf.d]# cat fxproxy.conf   
2. server {  
3.     listen       80;  
4.     server_name  10.0.0.136; #根据环境介绍，nginx server ip  
5.   
6.     location / {  
7.            proxy_pass http://10.0.0.137; #被代理的服务器ip  
8.                 }  
9.   
10. #proxy_pass: proxy_pass URL  
11. #默认值：NO  
12. #使用字段：location，location中的if字段  
13. #这个参数设置被代理服务器的地址和被映射的URL，地址可以使主机名、域名、IP加端口的模式，如：  
14. #proxy_pass    http://192.168.1.6:8099/linuxtone/;  
15.   
16. [[email protected] conf.d]# service nginx restart #重启加载配置  

 

看下结果：

 

[plain] view plain copy

 

1. #先登录到实验环境中的clinet机上，ip如下：  
2. [[email protected] ~]# ifconfig                           
3. eth0      Link encap:Ethernet  HWaddr 08:00:27:3D:40:40  
4.           inet addr:10.0.0.139  Bcast:10.255.255.255  Mask:255.0.0.0  
5.           inet6 addr: fe80::a00:27ff:fe3d:4040/64 Scope:Link  
6.           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1  
7.           RX packets:2618345 errors:0 dropped:0 overruns:0 frame:0  
8.           TX packets:247926 errors:0 dropped:0 overruns:0 carrier:0  
9.           collisions:0 txqueuelen:1000  
10.           RX bytes:336182790 (320.6 MiB)  TX bytes:35145157 (33.5 MiB)  
11.   
12. lo        Link encap:Local Loopback  
13.           inet addr:127.0.0.1  Mask:255.0.0.0  
14.           inet6 addr: ::1/128 Scope:Host  
15.           UP LOOPBACK RUNNING  MTU:16436  Metric:1  
16.           RX packets:177352 errors:0 dropped:0 overruns:0 frame:0  
17.           TX packets:177352 errors:0 dropped:0 overruns:0 carrier:0  
18.           collisions:0 txqueuelen:0  
19.           RX bytes:26547640 (25.3 MiB)  TX bytes:26547640 (25.3 MiB)  
20.   
21. [[email protected] ~]# curl 10.0.0.136    #访问反向代理服务器  
22. <html>  
23. 10.0.0.137                   
24. </html>  
25. #我们看到访问代理服务器，结果被转发到了web server1上。  
26.   
27. #接下来我们分别看下nginx-server和web-server1的日志：  
28. nginx-server：  
29. [[email protected] ~]# tail /var/log/nginx/access.log  
30. 10.0.0.139- - [08/Jun/2016:15:35:43 +0800] "GET / HTTP/1.1" 200 26 "-" "curl/7.19.7   
31. (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.19.1 Basic ECC zlib/1.2.3 libidn/1.18 libssh2/1.4.2" "-"  
32.   
33. web-server：  
34. [[email protected] httpd]# tail /var/log/httpd/access_log  
35. 10.0.0.136 - - [08/Jun/2016:15:21:12 +0800] "GET / HTTP/1.0" 200 26 "-" "curl/7.19.7   
36. (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.19.1 Basic ECC zlib/1.2.3 libidn/1.18 libssh2/1.4.2"  
37.   
38. ##我们看到nginx-server上的nginx的日志，显示访问的用户是10.0.0.139也就是我们环境的clinet，  
39. #而web-server上显示的ip是10.0.0.136，也就是nginx-server。  
40. #说白了反向代理，对客户来说nginx-server就是真正的服务器，实际上，当用户访问nginx-server的时候，会将请求转发到  
41. #web-server1上，然后web-server1将请求的结果发给nginx-server，然后由ngin小-server将请求的结果转交给用户。  
42.   
43. #在web-server上看到的都是代理的ip，能不能也看到真实用户的ip呢？  
44.   
45. [[email protected] conf.d]# cat fxproxy.conf                  
46. server {  
47.     listen       80;  
48.     server_name  10.0.0.136;                            #根据环境介绍，nginx server ip  
49.   
50.     location / {  
51.            proxy_pass http://10.0.0.137;                #被代理的服务器ip  
52.            proxy_set_header  X-Real-IP  $remote_addr;    #多了这行  
53.                  }  

 

[plain] view plain copy

 

1. [[email protected] conf.d]# service nginx restart  
2. [[email protected] ~]# tail /var/log/httpd/access_log  
3. 10.0.0.136 - - [08/Jun/2016:16:10:53 +0800] "GET / HTTP/1.0" 200 26 "-" "curl/7.19.7  
4. (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.19.1 Basic ECC zlib/1.2.3 libidn/1.18 libssh2/1.4.2"  
5.   
6. #改了之后还是显示的是代理服务器的ip,我们去web-server上修改下配置  
7. [[email protected] ~]# vim /etc/httpd/conf/httpd.conf  
8. LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined  
9. LogFormat "%h %l %u %t \"%r\" %>s %b" common  
10. LogFormat "%{Referer}i -> %U" referer  
11. LogFormat "%{User-agent}i" agent  
12.   
13. #修改为：(%h指的的访问的主机，现在改为访问的真实主机ip)  
14. LogFormat "%{X-Real-IP}i</span> %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined  
15. LogFormat "%h %l %u %t \"%r\" %>s %b" common  
16. LogFormat "%{Referer}i -> %U" referer  
17. LogFormat "%{User-agent}i" agent</span>  

 

[plain] view plain copy

 

1. [[email protected] ~]# service httpd restart  
2. 停止 httpd：                                               [确定]  
3. 正在启动 httpd：                                           [确定]  
4.   
5. [[email protected] ~]# tail /var/log/httpd/access_log  
6. 10.0.0.136 - - [08/Jun/2016:16:10:53 +0800] "GET / HTTP/1.0" 200 26 "-" "curl/7.19.7  
7. (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.19.1 Basic ECC zlib/1.2.3 libidn/1.18 libssh2/1.4.2"  
8. <span style="color:#FF0000;">10.0.0.139</span> - - [08/Jun/2016:16:16:01 +0800] "GET / HTTP/1.0" 200 26 "-" "curl/7.19.7  
9. (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.19.1 Basic ECC zlib/1.2.3 libidn/1.18 libssh2/1.4.2"  
10. #已经变成了真实的访问地址  

 

 

代理多个web服务器：

 

 

[plain] view plain copy

 

1. [[email protected] conf.d]# cat fxproxy.conf  
2. server {  
3.     listen       80;  
4.     server_name  10.0.0.136;  
5.   
6.     location / {  
7.            proxy_pass http://10.0.0.137;  
8.            proxy_set_header  X-Real-IP  $remote_addr;  
9.                 }  
10.     location /web2 {                            #多加个location  
11.            proxy_pass http://10.0.0.111;  
12.            proxy_set_header  X-Real-IP  $remote_addr;      
13.                 }  
14.   
15. [[email protected] ~]# cd /var/www/html/   #进入10.0.0.111这个web-server2  
16. [[email protected] html]# mkdir web  
17. [[email protected] html]# echo "<html>10.0.0.111</html>" > index.html  
18. #我们去client上访问试试：  
19. [[email protected] ~]# curl 10.0.0.136/web2/  
20. <html>  
21. 10.0.0.111  
22. </html>  
23. #访问成功  

 

 

三、负载均衡

负载均衡实现的方式有很多，常用的lvs四层负载均衡，nginx是七层负载均衡，可以网上查询相关资料。

 

3.1 环境介绍

 

 

3.2 配置介绍

1.upstream是Nginx的HTTP Upstream模块，这个模块通过一个简单的调度算法来实现客户端IP到后端服务器的负载均衡。在上面的设定中，通过upstream指令指定了一个负载均衡器的名称1.2.3.4。这个名称可以任意指定，在后面需要用到的地方直接调用即可。

 

 

2.Nginx的负载均衡模块目前支持4种调度算法，下面进行分别介绍，其中后两项属于第三方调度算法。  

• 轮询（默认）。每个请求按时间顺序逐一分配到不同的后端服务器，如果后端某台服务器宕机，故障系统被自动剔除，使用户访问不受影响。Weight 指定轮询权值，Weight值越大，分配到的访问机率越高，主要用于后端每个服务器性能不均的情况下。

• ip_hash。每个请求按访问IP的hash结果分配，这样来自同一个IP的访客固定访问一个后端服务器，有效解决了动态网页存在的session共享问题。

• fair。这是比上面两个更加智能的负载均衡算法。此种算法可以依据页面大小和加载时间长短智能地进行负载均衡，也就是根据后端服务器的响应时间来分配请求，响应时间短的优先分配。Nginx本身是不支持fair的，如果需要使用这种调度算法，必须下载Nginx的upstream_fair模块。

• url_hash。此方法按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，可以进一步提高后端缓存服务器的效率。Nginx本身是不支持url_hash的，如果需要使用这种调度算法，必须安装Nginx 的hash软件包。

3.upstream 支持的状态参数

在HTTP Upstream模块中，可以通过server指令指定后端服务器的IP地址和端口，同时还可以设定每个后端服务器在负载均衡调度中的状态。常用的状态有：      

• down，表示当前的server暂时不参与负载均衡。

• backup，预留的备份机器。当其他所有的非backup机器出现故障或者忙的时候，才会请求backup机器，因此这台机器的压力最轻。

• max_fails，允许请求失败的次数，默认为1。当超过最大次数时，返回proxy_next_upstream 模块定义的错误。

• fail_timeout，在经历了max_fails次失败后，暂停服务的时间。max_fails可以和fail_timeout一起使用。

注，当负载调度算法为ip_hash时，后端服务器在负载均衡调度中的状态不能是weight和backup。

我们来看下具体配置：

 

[python] view plain copy

 

1. [[email protected] conf.d]# cat ../nginx.conf  
2. http {  
3.     include       /etc/nginx/mime.types;  
4.     default_type  application/octet-stream;  
5.   
6.     log_format  main  ‘$remote_addr - $remote_user [$time_local] "$request" ‘  
7.                       ‘$status $body_bytes_sent "$http_referer" ‘  
8.                       ‘"$http_user_agent" "$http_x_forwarded_for"‘;  
9.   
10.     access_log  /var/log/nginx/access.log  main;  
11.   
12.     sendfile        on;  
13.     #tcp_nopush     on;  
14.   
15.     keepalive_timeout  65;  
16.   
17.     #gzip  on;  
18. upstream 1.2.3.4 {  
19.     server 10.0.0.111:80;  
20.     server 10.0.0.137:80;  
21.     }  
22.     include /etc/nginx/conf.d/*.conf;  
23. }  
24.   
25. [[email protected] conf.d]# cat slb.confserver   
26. {   
27. location / {   
28.      proxy_pass http://1.2.3.4; proxy_set_header X-Real-IP $remote_addr;   
29.            }  
30. #注，upstream是定义在server{ }之外的，不能定义在server{ }内部。定义好upstream之后，用proxy_pass引用一下即可。  

 

 

4.测试结果

 

[python] view plain copy

 

1. [[email protected] ~]# curl 10.0.0.136  
2. <html>  
3. 10.0.0.111  
4. </html>  
5. [[email protected] ~]# curl 10.0.0.136  
6. <html>  
7. 10.0.0.137  
8. </html>  
9. [[email protected] ~]# curl 10.0.0.136  
10. <html>  
11. 10.0.0.111  
12. </html>  
13. #结果是server1,2交替出现，说明默认是轮询方式的负载均衡。  

 

5.健康检查

一般健康检查都需要搞个keepalived，但nginx也有相应的参数可以设置。

• max_fails，允许请求失败的次数，默认为1。当超过最大次数时，返回proxy_next_upstream 模块定义的错误。

• fail_timeout，在经历了max_fails次失败后，暂停服务的时间。max_fails可以和fail_timeout一起使用，进行健康状态检查。

[python] view plain copy

 

1. [[email protected] conf.d]# cat ../nginx.conf  
2. http {     
3.     include       /etc/nginx/mime.types;  
4.     default_type  application/octet-stream;  
5.   
6.     log_format  main  ‘$remote_addr - $remote_user [$time_local] "$request" ‘  
7.                       ‘$status $body_bytes_sent "$http_referer" ‘  
8.                       ‘"$http_user_agent" "$http_x_forwarded_for"‘;  
9.   
10.     access_log  /var/log/nginx/access.log  main;  
11.   
12.     sendfile        on;  
13.     #tcp_nopush     on;  
14.   
15.     keepalive_timeout  65;  
16.   
17.     #gzip  on;  
18.     upstream 1.2.3.4 {  
19.     server 10.0.0.111:80 weight=1 max_fails=2 fail_timeout=2;  
20.     server 10.0.0.137:80 weight=1 max_fails=2 fail_timeout=2;  
21.     }  
22.     include /etc/nginx/conf.d/*.conf;  
23.     }  
24. [[email protected] conf.d]# service nginx restart  

 

 

6.测试下结果

[python] view plain copy

 

1. [[email protected] httpd]# service httpd stop  #关闭web-server1服务  
2. [[email protected] ~]# curl 10.0.0.136  
3. <html>  
4. 10.0.0.111  
5. </html>  
6. [[email protected] ~]# curl 10.0.0.136  
7. <html>  
8. 10.0.0.111  
9. </html>  
10. #现在只能访问web-server2了。  
11.   
12. [[email protected] httpd]# service httpd start   #打开web-server1服务  
13. [[email protected] ~]# curl 10.0.0.136             
14. <html>  
15. 10.0.0.111  
16. </html>  
17. [[email protected] ~]# curl 10.0.0.136  
18. <html>  
19. 10.0.0.137  
20. </html>  
21. [[email protected] ~]# curl 10.0.0.136  
22. <html>  
23. 10.0.0.111  
24. </html>  

7.ip_hash的负载均衡

[python] view plain copy

 

1. [[email protected] conf.d]# cat ../nginx.conf  
2. upstream 1.2.3.4 {  
3.     ip_hash;  
4.     server 10.0.0.111:80 weight=1 max_fails=2 fail_timeout=2;  
5.     server 10.0.0.137:80 weight=1 max_fails=2 fail_timeout=2;  
6.     }  
7. [[email protected] conf.d]# service nginx restart  
8. 停止 nginx：                                               [确定]  
9. 正在启动 nginx：                                           [确定]  
10.   
11. [[email protected] ~]# curl 10.0.0.136  
12. <html>  
13. 10.0.0.137  
14. </html>  
15. [[email protected] ~]# curl 10.0.0.136  
16. <html>  
17. 10.0.0.137  
18. </html>  
19. #配置这种负载均衡后，>每个请求按访问IP的hash结果分配，这样来自同一个IP的访客固定访问一个后端服务器，  
20. #有效解决了动态网页存在的session共享问题。（一般电子商务网站用的比较多）