Linux下Nginx+多Tomcat负载均衡实现详解

Posted 2021-04-15 智能化IT系统

一、简介

【nginx】 

大名鼎鼎,麻雀虽小五脏俱全，它拥有小而稳且高效的特性。为目前大多数中小企业所使用。nginx可以做以下几件事：

• 反向代理

• 负载均衡

• 动静分离

• 网页、图片缓存

  
  

【Tomcat】 

是一个免费开放源代码的 Web 应用服务器，具有开源免费、容易安装、 容易使 用、占用资源小、易于和其他软件集成等优点。 Tomcat 很受广大程序员的喜欢，因为它运行时占用的系统资源小，扩展性好，支持负载 平衡与邮件服务等开发应用系统常用的功能；而且它还在不断的改进和完善中，任何一个感 兴趣的程序员都可以更改它或在其中加入新的功能。

【N+T的负载均衡】

然而他们的组合将是一把无与伦比的利刃。首先说明一下它的请求原理（路径走向）

下面上图：

图中的信息显而易见，以nginx服务器作为中转分发请求，以达到负载均衡的目的。

二、环境需求

【由于博主的主机（脸红~）配置低，所以只开一开虚拟机作为这次负载均衡的测试。一个ip三个端口既可实现上图所述的效果了】

主机A：192.168.0.144/24

apache-tomcat-6.0.35.tar.gz   tomcat 6  使用的主要端口：18080

apache-tomcat-7.0.82.tar.gz   tomcat 7  使用的主要端口：28080

apache-tomcat-8.5.23.tar.gz   tomcat 8  使用的主要端口： 8088

nginx-1.0.12.tar.gz

jdk7u79linuxx64.tar.gz

(其他一些基础环境比如gcc-c++的自己补全吧)

三、各个环境的搭建

3.1 Nginx搭建

先把所有准备好的软件工具放到一个目录下（都先准备好必用软件，不然配置起来才去找软件是很烦人的）

1. [root@N+T lhl]# ll 

2. total 175172 

3. -rw-r--r-- 1 root root   9472492 Dec  1  2017 apache-tomcat-8.5.23.tar.gz 

4. -rw-r--r-- 1 root root 153512879 Dec  7  2017 jdk7u79linuxx64.tar.gz 

5. -rw-r--r-- 1 root root    691002 May  9  2012 nginx-1.0.12.tar.gz 

6. -rw-r--r-- 1 root root  15692490 Nov 29  2017 Tomcat6-7.zip 

接下来安装一下开发环境

1. [root@N+T lhl]# yum -y install gcc gcc-c++ 

在/usr目录下面创建一个nginx的目录，并把nginx包移动到该目录下，再解压到该目录下面

1. [root@N+T lhl]# mkdir -p /usr/nginx 

2. [root@N+T lhl]# mv nginx-1.0.12.tar.gz /usr/nginx/ &&cd /usr/nginx/&&tar -zxvf nginx-1.0.12.tar.gz  

最好进入nginx-1.0.12目录，再编译安装

1. [root@N+T nginx-1.0.12]# ./configure &&make &&make install 

一般编译安装都默认在/usr/local/nginx/ 目录下面 ，下面这个就是nginx的主程序。

1. [root@N+T sbin]# ll /usr/local/nginx/sbin/nginx  

2. -rwxr-xr-x 1 root root 954836 Aug 16 04:43 /usr/local/nginx/sbin/nginx 

本博文为了搭建的方便直接把这个主程序拉倒/usr/bin/ 目录下了

1. [root@N+T sbin]# cp -a /usr/local/nginx/sbin/nginx /usr/bin/ 

下面是配置文件

1. [root@N+T sbin]# ll /usr/local/nginx/conf/nginx.conf 

简单的配置了一下配置文件

1. #####nginx+3 T 负载均衡测试############ 

2. #####最简化的配置文件了--############### 

3. user nobody;   #对于用户有安全性限制的伙伴可以创建一个账户去使用 

4. worker_processes 1; 

5.  

6. events { 

7.     use epoll; 

8.     worker_connections  1024; 

9.     } 

10.  
    

11. http 

    
    

12. { 

13.     include       mime.types; 

14.     default_type  application/octet-stream; 

15.  

16.      sendfile        on; 

17.  

18.      keepalive_timeout  60; #简单文本显示格式编辑 

19.      fastcgi_connect_timeout 300; 

20.      fastcgi_send_timeout 300; 

21.      fastcgi_read_timeout 300; 

22.      fastcgi_buffer_size 64k; 

23.      fastcgi_buffers 8 128k; 

24.      fastcgi_busy_buffers_size 128k; 

25.      fastcgi_temp_file_write_size 128k; 

26.      fastcgi_temp_path /dev/shm; 

27. 
    

28.        server{ 

            listen       80; 
    

29.         server_name  localhost; 

30.         access_log /var/log/nginx/aeecss.log; 

31.         error_log  /var/log/nginx/error.log; 

32.         location / { 

33.                 proxy_pass  http://li7105.com; 

34.                 proxy_redirect default; 

35.           } 

36.  

37.         } 

38. } 

下面运行nginx，查看信息

1. [root@N+T sbin]# /usr/bin/nginx -c /usr/local/nginx/conf/nginx.conf 

2. [root@N+T sbin]# ps -ef | grep nginx 

3. root       1561      1  0 13:04 ?        00:00:00 nginx: master process /usr/bin/nginx -c /usr/local/nginx/conf/nginx.conf 

4. www        1562   1561  0 13:04 ?        00:00:00 nginx: worker process                              

5. root       1709   1573  0 18:49 pts/1    00:00:00 grep --color nginx 

注意：nginx没有启动起来，麻烦去认真的检查一下nginx配置文件。

PS：开机机动启动的话，直接把启动代码丢进rc.local这个文件里面即可。

1. [root@N+T lhl]# echo "/usr/bin/nginx  -c /usr/local/nginx/conf/nginx.conf"  >> /etc/rc.d/rc.local 

nginx的基本部署完成！

3.2 Tomcat 的搭建

由于tomcat依赖于jdk环境下运行，所以先搭建jdk环境，配置变量环境

1. [root@N+T lhl]# mkdir /usr/java/ 

2. [root@N+T lhl]# mv jdk7u79linuxx64.tar.gz /usr/java/ && cd /usr/java/ && tar -zxvf jdk7u79linuxx64.tar.gz 

3. [root@N+T java]# ll 

4. total 4 

5. drwxr-xr-x 8 uucp 143 4096 Apr 11  2015 jdk1.7.0_79 

6. [root@N+T java]# cd jdk1.7.0_79/ 

7. [root@N+T jdk1.7.0_79]# pwd  #看清楚路径 

8. /usr/java/jdk1.7.0_79 

9. [root@N+T jdk1.7.0_79]# 

PS:关于软件依赖的变量环境

就目前来去为一个软件或者环境的运行去搭建变量环境主要用下面三种方法

1、在/etc/profile下配置，这属于大环境的配置了。不过管理上不灵活，属于点到面的管理（本博文由于只有这个tomcat用到，所以在这配置了）

2、在/etc/profile.d/目录下面创建一个专属的变量环境如：tomcat.sh  在里面指的变量路径以及文件路径，这种方式管理很灵活，属于点到点的管理。

3、在软件的某个文本下面去直接添加指定的变量环境，如tomcat的。

1. [root@N+T bin]# pwd 

2. /usr/tomcatG/tomcat6/bin 

3. [root@N+T bin]# ll 

4. total 612 

5. -rw-r--r-- 1 root root  22705 Nov 28  2011 bootstrap.jar 

6. -rw-r--r-- 1 root root  11830 Nov 28  2011 catalina.bat 

7. -rwxr-xr-x 1 root root  17708 Nov 28  2011 catalina.sh 

8. -rw-r--r-- 1 root root   2374 Nov 28  2011 catalina-tasks.xml 

9. -rw-r--r-- 1 root root  24172 Nov 28  2011 commons-daemon.jar 

10. -rw-r--r-- 1 root root 199623 Nov 28  2011 commons-daemon-native.tar.gz 

11. -rw-r--r-- 1 root root   1342 Nov 28  2011 cpappend.bat 

12. -rw-r--r-- 1 root root   2108 Nov 28  2011 digest.bat 

13. -rwxr-xr-x 1 root root   1689 Nov 28  2011 digest.sh 

14. -rw-r--r-- 1 root root   3150 Nov 28  2011 setclasspath.bat 

15. -rwxr-xr-x 1 root root   4153 Aug 16 10:57 setclasspath.sh ###在这个文件里面指定变量环境 

16. -rw-r--r-- 1 root root   2108 Nov 28  2011 shutdown.bat 

17. -rwxr-xr-x 1 root root   1628 Nov 28  2011 shutdown.sh 

18. -rw-r--r-- 1 root root   2109 Nov 28  2011 startup.bat 

19. -rwxr-xr-x 1 root root   2023 Nov 28  2011 startup.sh 

20. -rw-r--r-- 1 root root  32277 Nov 28  2011 tomcat-juli.jar 

21. -rw-r--r-- 1 root root 249259 Nov 28  2011 tomcat-native.tar.gz 

22. -rw-r--r-- 1 root root   3479 Nov 28  2011 tool-wrapper.bat 

23. -rwxr-xr-x 1 root root   3472 Nov 28  2011 tool-wrapper.sh 

24. -rw-r--r-- 1 root root   2113 Nov 28  2011 version.bat 

25. -rwxr-xr-x 1 root root   1632 Nov 28  2011 version.sh 

26. [root@N+T bin]# 

setclasspath.sh  里面指定。软件的不同在不同的文件指定吧，这个可以在度娘查到。第三种办法一般很少用到。

继续！下面在/etc/profile下配置变量环境

1. export JAVA_HOME=/usr/java/jdk1.7.0_79/  #路径别弄错 

2. export JAVA_BIN=$JAVA_HOME/bin 

3. export PATH=$PATH:$JAVA_HOME/bin 

4. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

最后直接执行，使得文件profile生效

1. [root@N+T /]# source /etc/profile 

接着执行 java -version  命令即可看到对应的版本号，说明已经生效了。（在这里有些小伙伴会时常出现一个问题，明明tomcat已经实在用这个

jdk版本了，可是输入命令java -version 显示出来的却不是目前tomcat在用的jdk版本，这时候该注意一下查看tomcat下面的comment目录下的jdk版本是否对应的，不是的话。就把jdk下的替换过去，另外我还有寻找另外一种解决办法，希望各位赐教。）

jdk部署完毕！

3.3 tomcat 的搭建

在/usr 下创建tomcatG 的目录，并且把三个版本的tomcat拉到目录下分别改名为tomcat6、tomcat7、tomcat8。最后分别解压，再修改server.xml  文档的端口

1. [root@N+T tomcatG]# ll 

2. total 12 

3. drwxr-xr-x 9 root root 4096 Aug 16 10:27 tomcat6 

4. drwxr-xr-x 9 root root 4096 Aug 16 10:49 tomcat7 

5. drwxr-xr-x 9 root root 4096 Aug 16 11:11 tomcat8 

6. [root@N+T tomcatG]# 

下面修改tomcat6的server.xml文件：三处地方

1、<Connector port="18080" protocol="HTTP/1.1" 

1.                connectionTimeout="20000" 

2.                redirectPort="8443" /> 

2、<Connector port="18009" protocol="AJP/1.3" redirectPort="8443" /> 

3、<Server port="18005" shutdown="SHUTDOWN"> 

剩下的tomcat7和tomcat8以此类推！

下面启动tomcat6-8

启动tomcat6:

1. [root@N+T bin]# pwd 

2. /usr/tomcatG/tomcat6/bin 

3. [root@N+T bin]# ll 

4. total 612 

5. -rw-r--r-- 1 root root  22705 Nov 28  2011 bootstrap.jar 

6. -rw-r--r-- 1 root root  11830 Nov 28  2011 catalina.bat 

7. -rwxr-xr-x 1 root root  17708 Nov 28  2011 catalina.sh 

8. -rw-r--r-- 1 root root   2374 Nov 28  2011 catalina-tasks.xml 

9. -rw-r--r-- 1 root root  24172 Nov 28  2011 commons-daemon.jar 

10. -rw-r--r-- 1 root root 199623 Nov 28  2011 commons-daemon-native.tar.gz 

11. -rw-r--r-- 1 root root   1342 Nov 28  2011 cpappend.bat 

12. -rw-r--r-- 1 root root   2108 Nov 28  2011 digest.bat 

13. -rwxr-xr-x 1 root root   1689 Nov 28  2011 digest.sh 

14. -rw-r--r-- 1 root root   3150 Nov 28  2011 setclasspath.bat 

15. -rwxr-xr-x 1 root root   4153 Aug 16 10:57 setclasspath.sh 

16. -rw-r--r-- 1 root root   2108 Nov 28  2011 shutdown.bat 

17. -rwxr-xr-x 1 root root   1628 Nov 28  2011 shutdown.sh  #这是停止 

18. -rw-r--r-- 1 root root   2109 Nov 28  2011 startup.bat 

19. -rwxr-xr-x 1 root root   2023 Nov 28  2011 startup.sh  #启动 

20. -rw-r--r-- 1 root root  32277 Nov 28  2011 tomcat-juli.jar 

21. -rw-r--r-- 1 root root 249259 Nov 28  2011 tomcat-native.tar.gz 

22. -rw-r--r-- 1 root root   3479 Nov 28  2011 tool-wrapper.bat 

23. -rwxr-xr-x 1 root root   3472 Nov 28  2011 tool-wrapper.sh 

24. -rw-r--r-- 1 root root   2113 Nov 28  2011 version.bat 

25. -rwxr-xr-x 1 root root   1632 Nov 28  2011 version.sh 

26. [root@N+T bin]# ./startup.sh  

tomcat 7-8以此类推！

3.4 配置负载均衡

在nginx里面添加几条代码即可，下面请看

1. #####nginx+3 T 负载均衡测试############ 

2. user nobody; 

3. worker_processes 1; 

4.  

5. events { 

6.     use epoll; 

7.     worker_connections  1024; 

8.     } 

9. 
   

10. http

11. { 

12.     include       mime.types; 

13.     default_type  application/octet-stream; 

14.  

15.      sendfile        on; 

16.  

17.      keepalive_timeout  60; 

18.      fastcgi_connect_timeout 300; 

19.      fastcgi_send_timeout 300; 

20.      fastcgi_read_timeout 300; 

21.      fastcgi_buffer_size 64k; 

22.      fastcgi_buffers 8 128k; 

23.      fastcgi_busy_buffers_size 128k; 

24.      fastcgi_temp_file_write_size 128k; 

25.      fastcgi_temp_path /dev/shm; 

26.  

27.    upstream li7105.com {              #在此插入 

28.    server 127.0.0.1:18080 weight=1;   #tomcat6分流    weight=1  这是权重分配。 

29.    server 127.0.0.1:28080 weight=2;   #tomcat7分流    weight=2 显然2更大，那么它被分配任务的几率也就更大 

30.    server 127.0.0.1:8088 weight=2;    #tomcat8分流 

31.            } 

    
    

32.     server{ 

33.  

34.         listen       80; 

35.         server_name  localhost; 

36.         access_log /var/log/nginx/aeecss.log; 

37.         error_log  /var/log/nginx/error.log; 

38.         location / { 

39.                 proxy_pass  http://li7105.com; 

40.                 proxy_redirect default; 

41.           } 

42.         } 

43. } 

【关于nginx的负载均衡的分配方式】

nginx关于这个负载均衡方面的权重分配方式有4种：

1.轮询，默认采取此方式，Nginx会按照请求时间的先后顺序进行轮询分发，若某台Web Server宕机，Nginx自动将其摘掉。

2.weight，权重，即轮询的几率，值越大，被分发的可能性越大，用于后端服务器性能不均的情况。

3. ip_hash ,每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决共享session的问题。

4.自定义规则

四、负载均衡的测试

为了是的测试的效果明了些，我把/usr/tomcatG/tomcat6/webapps/ROOT 目录下的index.jsp 文件的内容全部删除掉，直接改为tomcat6 ，7-8一样如此。

1. [root@N+T ROOT]# cat index.jsp  

2. I am Tomcat 6666666666666! 

在测试之前需要检查一下，下面几个个问题。确保没问题了，就去测试，不然返回来做无用功了。

1、nginx、tomcat、jdk正在运行

2、网页上能够哦正常访问nginx 和  tomcat

3、防火墙

我就在本地主机上面的浏览器测试吧，因为跟物理机是连通的。

在浏览器输入：http://192.168.0.144/index.jsp  然后不停按F5刷新网页，接着网页会不停的在tomcat6、tomcat7、tomcat8的内容标识上面做跳转，显示的内容也会不一样。

如图：

不停的刷新，看着页面的变化。你会发现权重等于1的tomcat6出现的次数会比tomcat7和tomcat8的次数很多的。

上面只是个简单的测试，有兴趣的伙伴可以添加去修改这个jsp文档，哈哈。

上述图片说明了nginx的负载均衡是正在运行中的了。测试完毕！

五、总结

在搭建这个环境需要注意的几点：

1、tomcat的端口，由于是在一台机器上面部署3个tomcat，所以改的端口就有9个了。主机端口的范围，超出范围不然tomcat是无法启动的。

2、jdk变量环境的搭建，注意路径。

3、nginx 配置文档的参数、模块注意编写。不然无法启动。

4、注意防火墙设置，对于需求安全性的伙伴们。当然测试你可以完全的关闭掉。

nginx和tomcat的负载均衡，基本配置完毕，这类型的负载均衡目前在很多的企业被使用。然而这仅仅是企业网络架构中的一个小小的部分，我期待后面能够给大家讲述更多关于这方面的知识。